メインコンテンツまでスキップ

第 10 章 — LLM で契約を生成する

10.1 発展課題(任意・★★★):生成と検査のループ​

概要。第 4〜9 章では契約を自分の手で書きました。この発展課題では、「応答は 5 秒以内」「低バッテリ機には割り当てない」といった自然言語の運行要件から LLM に CADL 契約を生成させ、cadl check を通るまで診断メッセージを返して自動修正させるループを構築し、評価します。LLM が契約を提案し、型検査を通るまではその出力を有効にしない、という構成にします。ただし、cadl check の合格は構文と型のレベルの検査であり、安全性の保証ではありません。合格が示すのはドラフトが CADL として整っていることだけで、期限や規則の内容が正しいことまでは示しません。

注意点。

  • 検査を通った契約が意図どおりとは限りません。合格したドラフトの deadline の値や監視ルールを、自分が第 5 章で手書きした契約と突き合わせてください(検査に合格することと、意図に合っていることは別だと確かめるのが、この課題のいちばんの目的です)。
  • 失敗時の診断メッセージは、加工せずそのまま LLM に返すのが基本です。何を直せたか・直せなかったかを記録しましょう。
  • 評価は、次の統計で行います。初回通過率(first_pass_rate)、K 回以内の通過率(pass@K)、通過までの平均ラウンド数。

ヒント。

  • system prompt に CADL の文法制約(SoS type は 4 種のみ、識別子は ASCII、deadline: 5s の形式など)を明示すると、初回通過率が上がる可能性があります。制約がある場合とない場合を実際に測って比べてみてください。
  • cadl check はサブプロセスとして呼び出せます(終了コードと出力を見る)。
  • 現時点で公開されている参考実装はありません(著者らの実装である cadl-ai-governance リポジトリの step_a_design.py と measure_step_a.py は非公開です)。ループ本体と小さな計測スクリプトを書くことも、この課題の一部です。まず LLM の代わりに決定的なモック(決まった順にドラフトを返す関数)でループの動きを観察し、それから実際の LLM に切り替えるのが安全です。

10.2 システムの動作中に行動するエージェント​

10.1 節では、LLM が契約を書き、その契約を使う前に検査します。システムの動作中に LLM のエージェントが自分で行動する場合は、仕様書のエージェント統治拡張(付録 G)で扱います。エージェントが送るメッセージごとに、契約の規範から allow(許可)、deny(拒否)、escalate(人への確認)のどれかを決めます。cadl 0.3.36 は、この決定を、エージェントと MCP のツールサーバの間に置くゲートウェイ(cadl mcp-gateway)と、クライアントと A2A のエージェントの間に置くゲートウェイ(cadl a2a-gateway)で行います。決定はすべて監査ログに記録され、cadl audit-verify がそのハッシュチェーンを検証します(G.8 節、G.11 節、G.13 節)。本書ではこれらのコマンドは使いません。