AIが作ったテストケースをレビューする6つの観点

生成AIへ仕様を渡すと、短時間で多くのテストケースを作れます。前提条件、操作、期待結果がそろい、見た目だけならそのまま使えそうに感じることもあります。

しかし、形式が整っていることと、現場で実行できることは別です。

私が実務で生成AIを使ってテスト設計成果物を作ったときも、一般的な知識の混入、QAの担当範囲外の項目、粒度の不一致、実行できない手順などが見つかりました。文章として自然だったため、仕様や現場を知らなければ見落としやすい内容でした。

そこで、AIが作ったテスト観点、確認項目、テストケースを、次の6つに分けてレビューしました。

  1. 適用可能性
  2. スコープ
  3. 手順の正確性
  4. 網羅性
  5. 粒度
  6. プロセス適合
AI生成テストケースをレビューする6つの観点

この記事では、それぞれ何を確認するのか、問題が見つかった場合にどう直すのかを説明します。

1. 適用可能性――現場で本当に使えるか

最初に確認するのは、生成されたテストケースを現場の環境や体制で実行できるかです。

AIは、入力されていない前提を一般的な知識で補うことがあります。その結果、実在しない環境や利用できない設備、準備できないデータを前提としたテストケースが作られる場合があります。

次の点を確認します。

  • 実在する環境、端末、データ、権限で実行できるか
  • 現場で利用できるツールや設備を前提にしているか
  • 再現できない状態や準備できないデータを要求していないか
  • 必要な工数や技能が現実的か
  • 現場に存在しない前提が追加されていないか

実務では、内容としてはもっともらしくても、検証環境では作れない状態を前提とした項目が含まれることがありました。このような項目は、手順を詳しくするだけでは解決しません。前提自体を変更するか、実行できない項目として除外する必要があります。

生成前に利用可能な環境、端末、権限、データの制約を明示すると混入を減らせます。ただし、制約を入力しても完全には防げないため、最終的には現場の環境を知る人が判断します。

2. スコープ――今回の担当範囲に収まっているか

次に、今回のテスト対象とQAの責任範囲に合っているかを確認します。

AIは「品質を高めるために必要そうな項目」を広く出すことがあります。しかし、一般的に重要な確認であっても、今回のテストレベルやQAチームの担当範囲に含まれるとは限りません。

次の点を確認します。

  • 対象機能と対象外機能が区別されているか
  • 今回のテストレベルに合っているか
  • QAチームが担当する責任範囲に収まっているか
  • 開発、運用、セキュリティなど他チームの作業が混ざっていないか
  • 仕様にない機能や仮定上の動作をテストしようとしていないか

私が最初にAIの候補をそのまま使おうとしたときは、QAの責任範囲外にある項目も混ざっていました。項目数だけを見ると網羅的に見えますが、担当外の項目まで含めれば、見積もりや進捗管理にも影響します。

生成前に「対象」「対象外」「QAが担当する範囲」を明示し、出力後は範囲外の項目を削除するか、適切な担当者へ確認します。対象外にした理由も残しておくと、単なる見落としではないことを後から確認できます。

3. 手順の正確性――実際に実行して同じ結果になるか

テストケースの前提条件、操作、期待結果が正しくつながっているかを確認します。

生成AIは文章の形を整えることが得意ですが、実際の画面遷移や操作順を保証するものではありません。存在しないボタン名を使う、必要な操作を飛ばす、前提条件と期待結果が矛盾するといった問題が起こります。

次の点を確認します。

  • 前提条件と事前準備が明確か
  • 操作の順序が仕様や実装と一致しているか
  • 画面、項目、ボタンなどの名称が正しいか
  • 入力値と操作結果の関係が正しいか
  • 期待結果を観測して合否を判定できるか
  • 別の担当者が実行しても同じ結果を再現できるか

実務でも、もっともらしいものの実行できない手順が含まれました。文章だけのレビューでは見抜きにくいため、代表的なケースは実機または検証環境で実行します。

1件で誤りが見つかった場合は、そのケースだけを直して終わらせません。同じ画面名や操作を使っているケースを検索し、同種の誤りがほかにもないか確認します。

4. 網羅性――必要な条件が漏れていないか

AIが多数のテストケースを生成すると、十分に網羅されているように見えます。しかし、件数が多いことと、必要な条件が含まれていることは同じではありません。

次の点を確認します。

  • 正常系、異常系、境界値が必要な範囲で含まれているか
  • 状態、権限、データ条件、設定差が考慮されているか
  • 主要な業務フローと例外フローが含まれているか
  • 過去障害から得た重要な観点が反映されているか
  • 既存テストの重要な観点が失われていないか
  • 要求や仕様の各項目に対応するテストがあるか

網羅性は、AIの出力だけを読んでも判断できません。要求、仕様、既存テスト、過去障害などと対応付けて初めて確認できます。

AIに対応表を作らせると比較を速められますが、「対応するテストがある」という判定自体が誤っている可能性もあります。AIには漏れの候補を抽出させ、重要な要求やリスクに対して十分かどうかは人が判断します。

5. 粒度――項目の詳しさがそろっているか

テスト観点、確認項目、テストケースでは、求める詳しさが異なります。AIへ一度に作らせると、抽象的な観点と具体的な操作手順が同じ一覧に並ぶことがあります。

次の点を確認します。

  • テスト観点に実行手順レベルの詳細が混ざっていないか
  • 確認項目が大きすぎて、確認内容を判断できなくなっていないか
  • テストケースが細かく分割されすぎていないか
  • 1つのケースに無関係な確認が詰め込まれていないか
  • 同じ階層の項目で詳しさがそろっているか
  • 重複する観点やケースが整理されているか

実務では、対象機能に対して粒度の合わない項目が含まれました。粒度が不ぞろいだと、レビュー時に比較しにくくなるだけでなく、テスト件数や工数も正しく見積もれません。

対策として、観点、確認項目、テストケースを一度に完成させず、段階を分けて生成します。それぞれの定義と記載例を示したうえで、同じ階層の項目同士を比較します。

6. プロセス適合――現場のルールに合っているか

最後に、組織や案件で定義されたテストプロセス、用語、成果物の形式に合っているかを確認します。

一般的に正しいテスト用語や分類であっても、現場の定義と一致するとは限りません。AIが使った一般的な用語をそのまま取り込むと、既存成果物との対応が分からなくなることがあります。

次の点を確認します。

  • 現場で定義されたテストプロセスに沿っているか
  • テストレベルとテストタイプの定義が正しく使われているか
  • 現場の用語とAIが使った一般用語にずれがないか
  • 必須の識別子、優先度、前提条件などが記載されているか
  • 要求、仕様、テスト間の追跡関係を確認できるか
  • レビュー、承認、変更管理のルールに沿っているか

私が生成結果を確認した際にも、一般的なテストプロセスの話が現場固有の観点として混ざりました。内容が間違いとは言い切れないため、単純な誤りより判断しにくい問題です。

成果物のテンプレート、用語定義、テストプロセスを入力すると、現場とのずれを減らせます。それでも最終確認には、その現場のルールを理解している人が必要です。

架空のテストケースを6観点でレビューする

6観点を使うと、1つのテストケースに含まれる異なる種類の問題を分けて確認できます。ここでは、架空のログイン機能を例にします。

AIが生成したテストケース

項目内容
テスト目的パスワードを5回間違えるとアカウントがロックされることを確認する
前提条件一般ユーザーのアカウントが登録されている
手順1. ログイン画面を開く
2. 正しいメールアドレスと誤ったパスワードを5回入力する
3. 管理画面を開く
4. 対象ユーザーの状態を確認する
期待結果アカウントがロックされ、管理画面に「ロック中」と表示される

文章と形式は整っていますが、架空の仕様とテスト環境を照らし合わせると、複数の問題があります。

6観点でレビューした結果

観点判定確認結果
適用可能性要修正QA環境では管理画面を利用できないため、手順3以降を実行できない
スコープ要修正管理画面による確認は運用担当者の範囲であり、今回のQAテストには含まれない
手順の正確性要修正仕様ではロックされるのは5回目ではなく、連続6回目の失敗後
網羅性要修正ロック中に正しいパスワードを入力した場合と、一定時間後に解除される場合がない
粒度問題なし1つの目的に対して1つのテストケースになっている
プロセス適合要修正必須項目である要求ID、優先度、テストデータIDが記載されていない

同じテストケースでも、実行環境の問題、担当範囲の問題、仕様との不一致、確認条件の漏れは、それぞれ修正方法が異なります。すべてを「内容が不正確」とまとめず、観点ごとに記録することで、どこを直すべきかが明確になります。

修正後のテストケース

項目内容
要求IDLOGIN-012
優先度高
テストデータIDUSER-LOCK-01
テスト目的パスワードを連続6回間違えるとログインできなくなることを確認する
前提条件ロックされていない一般ユーザーを準備する
手順1. 誤ったパスワードで5回ログインを試みる
2. 正しいパスワードでログインする
3. 再び誤ったパスワードで6回連続してログインを試みる
4. 正しいパスワードでログインを試みる
期待結果手順2ではログインできる。手順4ではログインできず、ロックされたことを示すメッセージが表示される

この修正例では、QA環境で観測できる内容へ変更し、担当範囲外の管理画面操作を除外しました。なお、ロックの自動解除は目的が異なるため、別のテストケースとして追加します。

6観点を使ったレビューの進め方

6観点は、次の手順で使います。

  1. レビューする成果物と、根拠となる要求・仕様・既存テストをそろえる
  2. 各観点を「問題なし・要修正・対象外」で判定する
  3. 「要修正」とした理由と対応を記録する
  4. 重大な問題が1つでもあれば、そのままテストへ使用しない
  5. 最後に「採用・修正後に採用・再作成・不採用」を判断する

「対象外」は、確認を省略したという意味ではありません。今回の成果物には該当しないと判断した記録です。

また、誤りの合計件数だけでなく、どの観点に問題が集中したかも残します。たとえばスコープの問題が多ければ対象範囲の指示を見直し、手順の誤りが多ければ参照させる仕様や画面情報を見直せます。

見つけた問題を次の生成へ反映する

レビューは、今回の成果物を直すだけで終わりではありません。

問題の原因を、少なくとも次のように分けて考えます。

  • 入力資料に必要な情報がなかった
  • 指示に対象範囲や粒度が書かれていなかった
  • 複数の資料で記述が一致していなかった
  • 情報はあったが、AIが誤って解釈または生成した

入力や指示に原因がある場合は、次回の生成条件へ反映します。AIに再生成させた場合も、同じ6観点で再確認します。AI自身に出力を評価させることは補助になりますが、その自己評価だけで採用を決めることはできません。

6観点をチェックリストとして使う

実際のレビューでは、6観点ごとに確認項目と判定欄があると記録しやすくなります。

「QA×AI実践ラボ」では、この記事の内容を実務で確認できるように「AI生成テストケース 6観点レビューチェックリスト」をPDFで配布しています。

無料PDFをダウンロードする

QAでの生成AI活用やレビューの進め方について相談したい場合は、お問い合わせページからご連絡ください。

全5ページのPDFです。ダウンロード後に印刷し、各項目を「問題なし・要修正・対象外」で判定して利用できます。

まとめ

AIが作ったテストケースは、文章や形式が整っていても、そのまま現場で使えるとは限りません。次の6観点で確認します。

  1. 適用可能性
  2. スコープ
  3. 手順の正確性
  4. 網羅性
  5. 粒度
  6. プロセス適合

AIは情報整理や候補作成を速められますが、対象環境、責任範囲、仕様、現場のルールまで自動的に保証するものではありません。AI出力を下書きとして扱い、対象業務を理解した人が採用を判断する運用が必要です。

レビュー前のテスト観点候補を複数資料から作る方法は、Claude Codeでテスト観点を作る手順で具体例とともに紹介しています。

QA業務で生成AIへ任せやすい作業を先に確認したい方は、QA業務で生成AIを使うなら、最初に任せたい5つの作業もご覧ください。

次に読む記事

レビューの前にAIへ渡す情報を整えたい方は、AIでテスト観点の網羅性を高める、渡すべき8種類の情報を確認してください。

タイトルとURLをコピーしました