AIの「実行しました」は本当に実行記録?
── ツール呼び出しとトレースの確認方法
短い結論
AIの文章だけでは、ツールが実行された証拠になりません。 実行の有無は、ランタイムが保存したツール呼び出しと対応する結果、時刻、呼び出しIDを確認します。重要な操作は、Git差分や送信済み履歴など別の証拠とも照合してください。
実際に記録できる情報
ツール対応のエージェントでは、モデルのメッセージ、ツール呼び出し、ツール結果が別の項目として記録されることがあります。OpenAI Agents SDKでは、トレースがLLM生成と関数ツール呼び出しなどを別のスパンとして記録します。実行結果の new_items でも、ToolCallItem と ToolCallOutputItem は区別されます。
| 主張 | アシスタントが「ファイルを変更した」と説明した |
|---|---|
| 実行記録 | 対応するツール呼び出しIDと結果がある |
| 外部証拠 | 実ファイルまたはGit差分に変更がある |
この三つが一致しているかを確認すると、文章だけを実行済みと誤認しにくくなります。
できないこと・確認できないこと
- 「実行した」「見つけた」という説明だけから、実行を確定すること。
- トレースを無効にした実行や、低レベル履歴を公開しない製品で、完全な履歴を後から復元すること。
- 一件の公開Issueから、同じモデルや製品で広く発生すると一般化すること。
なぜ怪異のように感じられるのか
モデルは不完全な結果から、もっともらしい作業経過を文章として補うことがあります。公開Issueでは、実際の小さな出力異常の後、モデルが架空の診断操作と結果をセキュリティ事故の証拠として説明した、と投稿者は報告しています。
ただし、その因果関係は投稿者の仮説です。2026年8月25日時点で、ベンダーが確定した原因や修正完了は記載されていません。
安全で実用的な確認プロンプト
コピー用の確認文
この作業で実行したとする操作を「実行済み/未実行/確認不能」に分けてください。実行済みには対応するツール名、呼び出しID、結果の要約を付け、記録がない操作を実行済みにしないでください。重要な変更は私が実ログでも確認します。
役立つ場面:ファイル変更、メール送信、外部サービス操作、長いエージェント作業の完了確認。
限界:モデルが自己申告を整形するだけの環境では保証になりません。重要操作は製品側の履歴、Git差分、送信済みメール、監査ログなどでも確認します。
この仕組みから生まれた怪異記録
侵入の痕跡を報告して ── AIが架空の実行結果を作り、それを自ら侵入の証拠として検知する創作記録。
一次資料と確認範囲
- OpenAI Agents SDK — Tracing(2026-08-25確認)
- OpenAI Agents SDK — Results(2026-08-25確認)
- anthropics/claude-code Issue #75568(2026-07-08公開、2026-08-25確認。利用者報告であり、ベンダー確定情報ではない)