3.11 バグのないプログラムを作る

(1/1)
陽奈がパソコンで作業し、AIロボが画面の緑のチェックマークを指さしているイラスト
AI生成コンテンツ / AI-generated content
人間がコーディングしても、AIがコーディングしても、バグをゼロにすることはできない。
バグとは、プログラムの間違いである。Codexに頼めば、プログラムは短い時間で動くところまで作れる。しかし、「動いた」ことと「間違いがない」ことは同じではない。試していない入力で壊れる間違いは、人が書いたものにも、AIが書いたものにも残る。

本項では、そのバグを少しでもゼロに近づけるための手法を紹介する。
2026年(令和8年)10月22日、Anthropicは、形式的検証という数学の証明の方法を使い、Claudeが123のオープンソースライブラリ、239の入口について、64MB未満のどの入力でもクラッシュしないことを証明したと発表した。その途中で、見つかっていなかったバグも発見している。ただし、この手法には制約があり、「証明済み」は「バグがない」という意味ではない。

本項では、できること、制約、Theoremが無償で提供する検証サービス、検証を始めるスキルの入手先と中身を説明し、最後にJavaScriptのアプリに活かせる考え方を示す。

目次

テストで見つからないバグ

陽奈が5問だけ丸をつけた答案を前に、AIロボが机の奥に積まれた未確認の答案の山を指さしているイラスト
AI生成コンテンツ / AI-generated content
プログラムの間違いをバグという。たとえば、クラス全員の平均点を出すプログラムを作ったとする(説明用の例である)。点数を合計して、人数で割る計算である。35人のクラスで試すと、正しい平均点が出た。しかし、全員が欠席して人数が0人になった日はどうか。0で割る計算になり、プログラムが止まってしまうかもしれない。試した範囲では正しく動いても、試していない場面に間違いが隠れている。これがバグの見つかりにくい理由である。

動作を確かめるテストは、バグを見つける大切な方法である。ただし、テストが保証するのは「試した範囲では正しかった」ということだけである。算数のドリルで5問を解いて全問正解でも、残りの問題が合っているとは言えないのと同じである。プログラムに入れられる値の組み合わせは、人間が試せる数をはるかに超える。
バグの中には、安全性に関わるものがある。ファイルを開くプログラムに、わざと変な形のファイルを渡すと、プログラムが止まったり、本来触ってはいけないメモリ(作業用の記憶領域)の範囲の外を読み書きしたりすることがある。後者は、情報が漏れたり、プログラムを乗っ取られたりする原因になりうる。画像、圧縮ファイル、PDFのように、他人から届いたファイルを読むプログラムでは、とくに大きな問題である。

こうした問題を見つけるために、ファジングという方法が広く使われている。コンピュータが大量の入力を自動で作り、プログラムの入口に次々と流し込んで、クラッシュ(異常停止)する入力を探す。Googleが提供するOSS-Fuzzは、条件を満たすオープンソースのプロジェクトに、この検査を続けて行っている。人間が思いつかない入力まで試せるのが強みである。

ただし、Anthropicの記事は、ファジングは総当たりの方法であり、考えられるすべての実行経路を試せる保証はないと指摘している。ファジングで見つかったバグは直せるが、「もうない」とは言い切れない。そこで、試した範囲ではなく、すべての入力について確かめる方法が必要になる。それが次項で説明する形式的検証である。

形式的検証とは何か

陽奈が黒板の「偶数+偶数=偶数」の証明を指しながら説明しているイラスト
AI生成コンテンツ / AI-generated content
形式的検証とは、プログラムが決めた規則を必ず守ることを、数学の証明で示す方法である。まず、数学の証明を思い出そう。「偶数に偶数を足すと、答えは偶数になる」という決まりがある。2+4や10+18を計算して偶数になるのを確かめるのは、テストである。何組試しても、試していない組が残る。

証明では、偶数を「2×整数」と書く。2×aと2×bを足すと、2×(a+b)になる。これは2の倍数なので、aとbがどんな整数でも、答えは偶数になる。こうして、すべての場合を一度に示せる。形式的検証は、この考え方をプログラムに使うものである。手順は次のとおりである。
  1. プログラムを、数学で扱える形(モデル)に直す。
  2. 守りたい規則を書く。今回の規則は「どんな入力でもクラッシュしない」である。
  3. その規則が、すべての入力で成り立つことを証明する。
  4. 証明チェッカーというソフトが、証明の一歩一歩が正しいかを機械的に確かめる。
証明チェッカーは、証明に間違いや飛ばした手順がないかを検査するソフトである。今回使われたのはRocqで、以前はCoqという名前で知られていた。チェッカーが「正しい」と認めた証明は信用できる。逆に、証明がうまく進まない場所があれば、そこにバグが隠れている可能性がある。バグを直して証明をやり直すことを繰り返し、最後まで通れば、規則に反するバグがないことの証明になる。

しかし、この方法は長い間、限られた場面にしか使えなかった。証明は元のプログラムの何倍もの大きさになることがあり、専門的な技能と膨大な手間が必要だからである。Anthropicの記事には、OSの中心部分であるseL4というプログラムについて、作るのに2人年かかったが、正しさの検証には20人年かかったという例が挙がっている。人年は、1人が1年かける仕事量の単位で、20人年は20人が1年かけるのに当たる。Airbusの航空機の制御用プログラムのように、間違いが許されない用途が中心だった。
テストと形式的検証の違い
観点テスト(ファジングを含む)形式的検証
確かめられる範囲実際に試した入力決めた範囲のすべての入力(今回は64MB未満)
バグがあるとき見つかることがある証明が進まない場所から分かる
バグがないとき「見つからなかった」と言える「規則に反するバグはない」と言える(前提の範囲内)
必要な手間比較的小さい従来は非常に大きかった

Anthropicの発表――何をどれだけ証明したか

陽奈が巨大な書庫に積み上がった本の山を見上げて驚いているイラスト
AI生成コンテンツ / AI-generated content
2026年(令和8年)10月22日、AnthropicのFrontier Red Teamは、共同研究先のTheoremとともに、AIによる形式的検証の成果を発表した(原文)。Theoremは、証明を行うための仕組みを提供する会社である。

成果の中心は次のとおりである。Claudeは、OSS-Fuzzに登録された123のライブラリ、239のエントリポイントについて、64MB未満のどの入力でもクラッシュしないことを証明した。エントリポイントとは、プログラムに入力を渡す入口である。原文では、「クラッシュしない」を、メモリの安全性に関するエラーやアサーション(プログラムが自分で行う点検)の失敗を起こさず、正常に終了することと定義している。

証明の対象は、人が書いたソースコードではなく、コンパイル済みのプログラムである。コンパイルとは、人が書いたプログラムを、コンピュータが実行できる命令の列に直すことである。今回は、その命令列を、RISC-V(リスクファイブ)というCPUの命令の形で扱っている。対象となった実行ファイルの命令数は、中央値で約18,000であった。中央値とは、数を小さい順に並べたときの真ん中の値である。人が読む文章ではなく、実際に動く形そのものを調べているのである。

規模も大きい。証明の総量は約1億8,000万行のRocqコードで、典型的な証明は1本が約60万行に及ぶ。この量の証明を、Claudeが数週間のうちに書き、証明チェッカーが検査した。
発表された規模
項目内容
対象のライブラリOSS-Fuzzの123ライブラリ
対象の入口(エントリポイント)239
証明した内容64MB未満のどの入力でもクラッシュしない
証明の総量約1億8,000万行のRocqコード
典型的な証明1本約60万行
対象の実行ファイルRISC-Vの命令数が中央値で約18,000
かかった期間数週間
123のライブラリ、239の入口、64MB未満、約1億8,000万行、約60万行という発表の数字を並べた図
AI生成コンテンツ / AI-generated content

Claudeはどう証明したか

陽奈が証明書を改札機のような証明チェッカーに通し、緑のランプが点いているイラスト
AI生成コンテンツ / AI-generated content
出発点は、OSS-Fuzzにあるファジングのテストである。テストは、入口に入力を渡して、クラッシュしないかを調べる。Anthropicは、このテストを、コンパイル済みのRISC-V命令に対する仕様に作り替えた。仕様とは、満たすべき条件を数学の形で書いたものである。仕様は、実行ファイルと、TheoremのRISC-VやLinuxの数学的な表現、「クラッシュしない」という条件から、機械的に作られる。

証明の流れは次のとおりである。
  1. ファジングのテストと、守りたい条件から、仕様を作る。
  2. Claudeが、すべての入力でその仕様が成り立つことを、Rocqで証明しようとする。
  3. 証明が進まない場所が見つかったら、そこにバグがないかを調べる。
  4. バグが本物なら、Claudeがコードに修正(パッチ)を当てる。修正後のコードから仕様を作り直す。
  5. 新しい仕様を証明し、最後まで通れば完了する。
ここに落とし穴がある。Claudeが、プログラムを「絶対にクラッシュしないもの」に書き換えてしまえば、どんな定理も証明できてしまう。たとえば、危ない入力が来たら何もせずに終わるように変えれば、確かにクラッシュはしない。しかし、それでは元のプログラムが正しいことの証明にならない。原文は、このような、目標を形だけ満たす近道を報酬ハッキングと呼んでいる。

対策として、Anthropicは、パッチを当てること自体に減点を与えた。パッチがどの入力の結果を変えるのかを証明できたときには、加点した。さらに、パッチの記録を残して監査している。使った主な道具は、証明チェッカーのRocqと、RustのプログラムのためのVerusである。Theoremが用意したRISC-VとLinuxの数学的な表現が土台になっている。
ファジングのテストから仕様を作り、証明し、失敗したらバグを直して仕様を作り直す流れを示した図
AI生成コンテンツ / AI-generated content

できること――見つかったバグと、広がる応用

陽奈が大きな虫眼鏡で、プログラムの画面に隠れた小さなバグを見つけているイラスト
AI生成コンテンツ / AI-generated content
この検証では、証明を進める途中で、実際のバグが見つかった。原文が挙げる例を表にまとめる。範囲外への書き込みや読み取りとは、用意された場所の外にあるメモリへ、データを書いたり読んだりしてしまう間違いである。
検証の途中で見つかったバグの例
対象内容特徴
解凍器(圧縮ファイルを元に戻すプログラム)数を数える値が下がりすぎて想定外の値になり、範囲外への書き込みが起きるライブラリに組み込まれた解凍器の、カウンターの間違い
画像デコーダ(画像ファイルを読み取るプログラム)範囲外からの読み取りが起きる64MBの入力と2GB超のメモリが必要
別のライブラリ同じファイルに対して2つの取っ手(ハンドル)を使い、特定の順で呼び出すと問題が起きる特定の呼び出し順で発生
libexpat(XMLを読み取るライブラリ)CVE-2026-56132の再発見深く入れ子になった入力が必要。CVEは公開された脆弱性の識別番号
ファイルの読み込みを制限する機能制限が常には働かないクラッシュは起きない論理バグ
バグ探しにとどまらず、証明そのものが広がっている。1つ目は、cpp-httplibである。ここでは、std::setという部品を片付けるときの再帰(自分自身を呼ぶ処理)が深くなりすぎて、スタックオーバーフロー(作業領域のあふれ)を起こす可能性を排除する必要があった。Claudeは、libc++が持つ赤黒木のバランスを取る仕組みが正しく働くことを、機械語のレベルで証明した。

2つ目は、zlibである。zlibの圧縮形式を定めた文書RFC 1950について、Claudeに形式仕様を書かせた。続いて、Linuxカーネルの中のzlibの実装が、その仕様を正しく満たすことを証明させた。これは「クラッシュしない」より強い、仕様どおりに動くという性質の証明である。しかもこの証明は、RISC-Vではなくx86向けのバイナリに対して行われ、使ったx86の数学的な表現もClaudeが作っている。同じ手順は、広く使われている他の6つほどのライブラリにも適用された。

3つ目は、Pythonのインタプリタである。Claudeは、Pythonの大きな部分をRustで動かすインタプリタを作り、Verusを使って、学術論文に示されたCPython(標準のPython)の動きに従うことを証明した。そのうえで、ランダムに作った170万本以上のPythonプログラムで試すと、99.95パーセントの試験でCPythonと同じ動作になった。この数字は、証明ではなく試験の結果である。

そのほか、PDFリーダーでは、単純なセキュリティ上の性質を検証するだけで、通常は1年間に報告される数のセキュリティ上のバグが、1週間で見つかった。10年以上気づかれなかった未知の論理バグも見つかっている。

費用の面では、36個の小さな検証課題で、Opus 5.5はOpus 5より約40パーセント少ないトークンで、半分の課題を証明した。トークンとは、AIが読み書きする文字量の単位で、費用の目安になる。また、複数のエージェントが証明を共有の作業場で使い回すと、単独で作業するときより17パーセント少ないトークンで済んだ。

制約――「証明済み」でも言えないこと

陽奈が白い枠線の内側に立ち、枠の外側が霧に包まれているイラスト
AI生成コンテンツ / AI-generated content
原文には、制約を述べた節がある。最初に書かれているのは、「形式的に検証された」は「バグがない」という意味ではないという点である。証明チェッカーは、証明が正しいかどうかは判定できるが、仕様が現実に合っているかどうかは判定できない。CPUやOSの動きを数学で表したものが現実とずれていれば、その部分にバグが残る。検証済みのコードでバグが見つかるときは、仕様か、想定した機械の動きが現実と違っているのである。

次に、証明が扱う環境が限られている。証明の対象は、スレッドが1つだけの、静的リンクされたRISC-Vの実行ファイルで、musl libcというC言語の標準ライブラリと結び付いたものである。スレッドとは、プログラムが同時に複数の仕事を進める仕組みである。しかし、多くの利用者が使っているのは、x86やARMのCPUで、glibcという別の標準ライブラリに動的にリンクされたプログラムである。このずれを埋めるには、実際の環境に近い数学的な表現が必要で、原文は、その一歩としてx86の表現を作ったことを挙げている。

検証した範囲にも限りがある。ASan(メモリの誤りを実行時に見つける仕組み)は、すべてのメモリ安全性のバグを見つけるわけではない。ライブラリの入口のすべてを検証したわけでもない。使われないコードは、入口の検証だけでは対象にならないことがある。さらに、ライブラリを使う側が使い方を誤れば、使う側でメモリが壊れることがある。これを防ぐには、各関数について、使う側が守る条件を決めて、守ってもらう必要がある。

証明を人が確認しなくてよいわけでもない。証明の大部分は人が読まなくてよいが、次の3つは信頼するしかない。RISC-VとLinuxのプロセスの数学的な表現、証明された定理の正確な書き方、そしてRocqの証明チェッカーである。Rocqは、その下で動くOCamlのコンパイラ、ハードウェア、OSにも頼っている。
「証明済み」でも言えないこと
制約内容利用者への影響
仕様と現実のずれチェッカーは、仕様が現実に合うかを判定できない「証明済み」でもバグが残りうる
実行環境スレッド1つ、静的リンク、RISC-V、musl libcx86やARM、glibcの実環境とは違う
検証した入口すべての入口ではない。使われないコードは対象外になりうるライブラリ全体の保証ではない
見つけられる誤りの種類ASanが見つけない種類のメモリの誤りは対象外別の検査が必要
使う側の誤用使う側の使い方が悪ければ、使う側で壊れる使い方の約束を守る必要がある
入力の大きさ64MB未満それ以上の大きな入力は対象外
信頼する部分数学的な表現、定理の書き方、Rocq(とそれを動かす環境)人による確認が残る
Theoremの公開文書は、さらに細かい対象外を挙げている。たとえば、使い終わったメモリを返し忘れるリークや、まだ値を入れていないメモリを読む誤りは、検査の対象にならない。ただし、この一覧はTheoremが「草案」と注記している。原文は最後に、LLMの利用と技術の進歩で、これらの制約は扱いやすくなり、検証できるコードの割合も増やせると見込んでいる。
証明が保証する範囲を内側の円、保証しない範囲を外側の円で示し、下に信頼が残る3つの部分を並べた図
AI生成コンテンツ / AI-generated content

Theoremの無償提供――OSS Verify

陽奈が3枚のファイルを持って、AIロボの座る受付に申込書類を出しているイラスト
AI生成コンテンツ / AI-generated content
Theoremは、この証明の仕組みを、条件を満たすオープンソースのプロジェクトに無償で提供している。Anthropicの記事には、Theoremが他のオープンソースプロジェクトにも同じ手順を実行すると申し出ている、と書かれている。無償であることは、Theoremの案内ページ(OSS Verify)に、「No cost. Qualifying open source projects pay nothing.」と明記されている。Anthropicの記事自体には、無償とは書かれていない。

提供されるのは、次のものである。
  1. ファジングのテストごとの、クラッシュしないことを示すRocqの証明。対象はソースコードではなく、コンパイル済みのバイナリである。
  2. 証明の途中で見つかったバグの報告。報告はメンテナー(そのソフトを管理している人)に非公開で送られ、パッチが添えられることがある。
  3. 証明の公開。公開の時期は設定で選べ、既定は修正が公開された後である。
対象になる条件は、Theoremの案内ページとGitHubのリポジトリ(theorem-labs/oss-verify)に書かれている。
  1. 申し込むのは、そのプロジェクトのコアメンテナー(中心になって管理している人)であること。
  2. オープンソースの定義を満たす、OSI承認のライセンスであること。
  3. 匿名で取得できる、公開のgitリポジトリがあること。
  4. ファジングのテストが1つ以上あること。自作でも、OSS-Fuzzのものでも、新しく作ってもよい。
  5. Theoremのビルダーでビルドできる言語であること。
  6. 報告を受け取るメールアドレスを、1つ決めること。
審査はプロジェクトごとに個別に行われる。成熟度、利用の広さ、他のソフトの基盤になっているか、といった点が見られる。バイナリの小さなプロジェクトは、早く検証される見込みとされている。対応する言語は次のとおりである。
OSS Verifyの対応言語(リポジトリの文書による)
言語対応状況
C、C++、Rust、Python対応している
Go、JVM言語(JavaやKotlinなど)クラッシュしないことの証明のみ
JavaScript保留
Ruby、Lua開発中
Swift不可能(RISC-VのLLVMにSwiftの呼び出し規約がないため)
申し込みは、OSS-Fuzzと同じように、GitHubの`theorem-labs/oss-verify`へのプルリクエストで行う。プルリクエストとは、変更を取り込んでほしいと依頼するGitHubの機能である。`projects/<name>/`という場所を作り、次の3つのファイルを置く。
申し込みに必要な3つのファイル
ファイル役割
project.yamlプロジェクトの場所、連絡先、言語などを書いた設定ファイル
Dockerfileビルドする環境の作り方と、コードの取得方法を書いたファイル
build.shファジングのテストをビルドする手順を書いたファイル
取り込まれた後は、Theoremが各バイナリを2回ビルドして同じ結果になることを確かめ、ファイルの指紋(SHA-256)を記録する。続いて、証明を行う。見つかったバグは、非公開で連絡先に送られる。公開の期限は設けられず、Theoremがバグを公開することもない。

注意点もある。証明の完成には数日かかることがある。指摘やパッチはAIが作るため、誤りや不完全な点がありうる。人によるレビューが行われる保証はなく、使う前に必ず人が確認する必要がある。登録できるのはコアメンテナーだけである。一時停止は`project.yaml`に`disabled: true`を書くプルリクエスト、退会は`projects/<name>/`を削除するプルリクエストで行う。なお、オープンソースではないプロジェクトは、Theoremへの問い合わせが案内されている。
メンテナーがプルリクエストを送ってから、2回のビルド、証明、非公開の報告、証明の公開に至る流れを示した図

検証に使われたスキル――add-projectの入手先と中身

陽奈とAIロボが、チェックボックスの付いた手順書を一緒に広げて確認しているイラスト
AI生成コンテンツ / AI-generated content
Anthropicの記事は、Theoremが、開発者が自分のコードの検証を始めやすくするためのClaudeのスキルを公開していると述べている。スキルとは、ClaudeなどのAIエージェントに渡す、作業の手順書のファイルである。ファイル名は`SKILL.md`で、先頭に名前と、いつ使うかの説明が書かれ、その後に手順が続く。記事の中にスキルの名前は書かれていないが、リンク先はGitHubの次のファイルである。名前は`add-project`である。
  1. 入手先:add-projectのSKILL.md
  2. 置かれている場所:リポジトリtheorem-labs/oss-verifyの`.claude/skills/add-project/SKILL.md`
最初に押さえたいのは、このスキルは証明を書くものではないということである。メンテナーがOSS Verifyに登録するための準備、つまり、ファジングのテストの作成、ビルドの設定、申し込みの書類づくりをAIに手伝わせる手順書である。証明は、登録が取り込まれた後に、Theoremの仕組みが行う。

使い方は、リポジトリのREADMEに書かれている。自分のプロジェクトの作業場所で、コーディングエージェントに次の文を貼り付ける。
プロンプト:OSS Verifyへの登録(READMEの原文)
Enroll this project in OSS Verify by following the instructions here:
https://raw.githubusercontent.com/theorem-labs/oss-verify/refs/heads/main/AGENTS.md
エージェントは、そのURLの`AGENTS.md`を読む。そこには、自分のプロジェクトの隣に`theorem-labs/oss-verify`を複製して作業すること、フォークはしないこと、そしてスキルの`.claude/skills/add-project/SKILL.md`を読んで進めることが書かれている。守る規則は次のとおりである。
  1. 変更してよいのは`projects/<name>/`の中だけである。
  2. スキルの質問は、すべてメンテナーに尋ねる。答えを推測しない。
  3. `tools/check`を実行する前に、`Dockerfile`を読む。
  4. プルリクエストは、エージェントが開かない。メンテナーが開き、利用規約に同意する。
READMEは、`tools/check`が`Dockerfile`をネットワークにつないでビルドするため、信頼できるプロジェクトにだけ使うよう警告している。

スキルの中身は、次の7つの手順である。
add-projectの7つの手順
手順内容
1 「正しさ」を聞く入口、信頼できない入力、入力の大きさ(64MiB未満)、期待する結果、守る性質(たとえばエンコードしてデコードすると元に戻る)をメンテナーに確認する。推測で答えない
2 報告の方針を聞く重大度、報告の形式、AIが作った提案の扱いなどを聞き、回答をpatch_style.mdに書く。AIの提案には誤りがありうること、人のレビューは約束できないことも伝える
3 ファジングのテストを書く守る性質を満たさないときはabort()で止める。assert()は使わない。性質を壊す1行の変更を入れて、テストが止まることも確かめる
4 ビルドを移植する対応言語はC、C++、Rust、Python。テンプレートを使い、コミットIDをDockerfileに書かない
5 project.yamlを書くリポジトリ、連絡先、言語、対象のテスト、公開の時期(after_fixes、eager、never)を決める
6 検証するtools/validate.pyとtools/check --no-shell --twiceを実行し、2回のビルドがバイト単位で同じことを確かめる
7 プルリクエストを準備するprojects/<name>/だけを変更したブランチを作り、説明文を書いてメンテナーに見せる
3つ目の手順が、このスキルの中心である。ファジングのテストは、`LLVMFuzzerTestOneInput`という名前の関数で、入力を受け取る入口になる。性質を調べるときは、`assert()`ではなく`if (!condition) abort();`と書く。`assert()`は、設定によってはプログラムから消えてしまうからである。次は、その形を示す説明用の骨組みである。`decode`、`encode`は例として置いた名前である。

スキルは、性質ごとに、その性質を実際に確かめている証拠も求める。性質を壊す1行の変更を入れたとき、テストが止まる入力を見つけ、変更を戻して、その結果を記録する。テストが何も確かめていない状態で「検証済み」になるのを防ぐためである。
ファジングのテストの骨組み(説明用・抜粋)
#include <stdint.h>
#include <stddef.h>
#include <stdlib.h>

int LLVMFuzzerTestOneInput(const uint8_t *data, size_t size) {   // 入力 data を使って、調べたい関数を呼ぶ   // 守りたい性質が成り立たないときは abort() で止める   // 例: if (!(decode(encode(x)) == x)) abort();   return 0; }

自分のJavaScriptアプリには、どう活かせるか

陽奈が自分のアプリの画面の横の壁に、「守りたいこと」を書いた付箋を3枚貼っているイラスト
AI生成コンテンツ / AI-generated content
率直に言うと、この仕組みをそのまま自分のJavaScriptのアプリに使うことはできない。OSS Verifyが対応しているのはC、C++、Rust、Pythonで、JavaScriptは保留と書かれている。しかも対象はオープンソースのライブラリで、申し込めるのはそのコアメンテナーだけである。Codexで作った自分のアプリは、現在の対象として想定されていない。

それでも、考え方は使える。使えるのは次の3つである。
  1. 「どうなれば正しいか」を言葉で書く。今回の「どんな入力でもクラッシュしない」のように、守りたいことを1文にする。ToDoリストなら「空欄では登録しない」である。
  2. 試した範囲をはっきりさせる。テストは、試した範囲の確認にすぎない。空、とても長い文字、記号だけ、0件など、困りそうな入力を選んで試す。
  3. 確認の方法ごとCodexに頼む。仕様、テスト、結果の報告まで頼むやり方は、3.7 ハーネスエンジニアリングで説明している。
たとえば、すでにあるアプリについて、次のように依頼できる。守るべきことの洗い出しから、テストの実行と報告までを、一度に頼む形である。
プロンプト:守りたいことと困る入力の洗い出し
このアプリについて、次の順に進めること。
1. 「このアプリが必ず守るべきこと」を、日本語で3つ書き出す。(例:空欄では登録しない)
2. それぞれについて、困りそうな入力を5つずつ挙げる。(例:空、とても長い文字列、記号だけ)
3. 挙げた入力を試すテストを作り、実行する。
4. 入力、期待する結果、実際の結果、合否を一覧で報告する。
5. 不合格は原因を調べて直し、再実行する。

実行していない確認を合格と報告しないこと。
ただし、これで得られるのは、あくまで試した範囲の確認である。形式的検証のように「すべての入力」を保証するものではない。また、書き出した「守りたいこと」が現実の希望に合っているかは、人が判断するしかない。これは、形式的検証でも同じである。「検証済み」と「バグがない」は同じ意味ではない。この区別を覚えておくことが、AIにプログラムを任せるときの基本になる。

参考サイト

(この項おわり)
header