生成AIのテスト設計で起きた4つの失敗――一般論・範囲・粒度・手順

生成AIへ仕様や既存テストを渡すと、短時間で多くのテスト観点やテストケース候補を作れます。しかし、件数が多いことと、そのまま実行できることは同じではありません。

今回の通知設定機能のサンプルでは、テスト観点29件とテストケース27件を人がレビューしました。その過程で、もっともらしい一般論、担当範囲を越えた確認、重複や粒度の大きいケース、実行方法のない手順が混ざりました。

この記事では、実際に見つかった4種類の失敗を、修正方法とあわせて整理します。

先に結論をまとめると、4つの失敗は次のように見分けられます。

失敗 出力に現れる兆候
一般論の混入根拠箇所を示せず、もっともらしい期待結果だけが書かれている
範囲のずれQAが操作・観測できない処理まで合否判定に含まれている
粒度・重複一つのケースに複数条件が入り、逆方向の確認が抜けている
手順不足目的は妥当でも、イベントやエラーの発生方法を説明できない

明らかな誤答だけを探しても、これらは見つかりません。根拠、担当範囲、ケース間の対応、再実行可能性を順に確認する必要があります。

生成AIのテスト設計で起きた4つの失敗

失敗1:一般論が対象機能の仕様として混ざる

実際に起きたこと

  • ID22では、「ブラウザの通知許可が必要」という記述だけでは合格基準が曖昧だった
  • ID27では、複数タブ・複数デバイスの同時変更について、期待動作が仕様にないのに「予測可能であること」という観点が作られた
  • 削除前の確認項目V04-C03では、イベント設定の「以前の設定」を「直近の変更」と読み替えていた

何が問題か

  • 一般的に正しそうでも、対象製品に実装されているとは限らない
  • 合格基準の根拠がなく、人によって期待結果が変わる
  • AIが補った前提が、仕様上の事実に見えてしまう

見分け方

  • 根拠資料と根拠箇所を1件ずつ確認する
  • 「一般知識」「推測」「資料に記載なし」を仕様由来の候補と分ける
  • 期待結果の各語が資料に存在するか確認する

対策

  • 出所列と未確認事項列を設ける
  • 判断できないものを無理に採用・不採用へ振り分けず、要修正・確認待ちとして残す
  • AIに不足を埋めさせず、仕様担当者への質問へ変換する

失敗2:対象範囲を越えた確認が混ざる

実際に起きたこと

  • QAが確認できる「通知要求の作成・保留」と、外部配送基盤による「配信」が混同されかけた
  • PCブラウザとスマートフォンブラウザの利用可否という大きな観点に、資料にない機能差まで含める必要が生じた
  • 権限制御や複数デバイス競合など、今回選んだ5観点の外にある確認が候補になった

何が問題か

  • 他チームの担当領域や観測できない内部処理まで合否判定の対象になる
  • 必要な環境、権限、ログがなく、ケースを実行できない
  • 本来確認したいリスクより作業範囲が大きくなる

見分け方

  • 対象機能、対象外機能、テストレベル、QAの担当範囲と照合する
  • 期待結果をどの画面・ログ・保存結果で確認するか説明できるかを見る
  • 選択した観点IDに対応しないケースが増えていないか確認する

対策

  • 生成前に対象・対象外と観測可能な結果を明記する
  • 「配信される」ではなく「通知要求が作成される」など、確認可能な表現へ限定する
  • 対象外の候補は削除せず、別工程・別チームへの確認事項として分ける

失敗3:粒度がそろわず、重複や抜けが生まれる

実際に起きたこと

  • TC-V09-C04-01では、開始前・停止中・終了時の3条件を一つにまとめ、各条件の個別ケースと重複した
  • オンからオフへの変更だけが作られ、オフからオンへの逆方向が抜けた
  • 通知許可の一般的な確認と、許可の3状態ごとの保存確認が重複した
  • 似ているがリスクの異なる日付またぎ、境界時刻、停止中通知の扱いを統合しそうになった

何が問題か

  • 一つのケースが失敗したとき、どの条件が原因か切り分けにくい
  • 件数は多くても、同じリスクを繰り返しているだけになる
  • 片方向だけを確認し、状態遷移の網羅性が不足する

見分け方

  • 1ケースに主要な条件・操作・期待結果が一つずつか確認する
  • ケースIDから観点ID、確認項目IDまで対応を追う
  • 正方向と逆方向、変更前と変更後、境界前・境界・境界後を表で比較する

対策

  • 観点から直接ケースを作らず、確認項目を間に置く
  • 重複判定は文言ではなく「確認する主要リスク」で行う
  • 統合する項目と分ける項目の基準をルールファイルへ記載する

失敗4:目的は正しいが、実行・判定できる手順にならない

実際に起きたこと

  • TC-V09-C01-01~C03-01では、通知対象イベントを発生させる具体的な方法が資料になかった
  • 通知要求が作成・保留されたことを確認する画面やログが定義されていなかった
  • TC-V19-C01-01~C03-01では、保存失敗時の期待結果には根拠があったが、通信エラーの再現方法が決まっていなかった
  • 他方の通知設定が変わらないことだけを書き、操作した側が意図どおり保存されたことが期待結果から抜けた

何が問題か

  • 別の担当者が同じ条件で再実行できない
  • 期待結果を観測できず、合否を決められない
  • テスト目的が妥当という理由だけで採用すると、実行工程で止まる

見分け方

  • 前提条件、テストデータ、操作、期待結果を順に読み、欠けた列がないか確認する
  • エラーやイベントをどう発生させるかを具体的に説明できるか確認する
  • 期待結果をどこで観測するか、操作対象と非操作対象の両方について確認する

対策

  • 実行方法と観測方法が未確定なら「要修正」にする
  • 未確認事項に、追加で決めるべき内容と確認先を記録する
  • 期待結果には、操作した側の保存結果と影響を受けない側の状態を両方書く

4つの失敗をレビューで見つける確認表

失敗 確認する質問 判断できない場合
一般論の混入期待結果の根拠資料と根拠箇所はあるか未確認事項へ記録する
範囲のずれQAの担当範囲で実行・観測できるか対象外または別担当への確認に分ける
粒度・重複一つの主要リスクを一つのケースで確認しているか分割・統合・不足方向の追加を検討する
手順不足別の担当者が再実行し、同じ基準で合否を決められるか要修正として再現方法と観測方法を確認する

AIへの指示だけでは防げなかったこと

  • 修正範囲を指定しないと、「人の判定」「判定理由」以外の観点文や根拠欄まで書き換わることがある
  • 完了報告の件数が成果物と一致しないことがある。記事004では27件に対して「採用18件・要修正7件・不採用1件」と報告され、1件不足していた
  • 「推測しない」「重複させない」と指示しても、最終的な適用可否と合否基準は人が確認する必要がある

このため、指示文の改善だけでなく、変更対象の限定、差分確認、IDと件数の機械的な検算を工程に含めます。

まとめ

  • 一般的に正しそうな内容と、対象製品の仕様を分ける
  • 対象範囲と観測可能な結果を生成前に決める
  • 観点、確認項目、テストケースの段階を分けて粒度をそろえる
  • 実行方法と観測方法がないケースは、目的が妥当でも要修正にする
  • AIの完了報告ではなく、成果物の根拠、差分、ID、件数を確認する

生成AIの出力で問題になるのは、明らかな誤りだけではありません。もっともらしく、目的も妥当なのに、対象製品では合否を決められない項目が混ざることです。候補作成はAIに任せても、適用範囲と最終判断は人が持つ必要があります。

次に読む記事

AI出力をどこまで使い、どこから人が判断するかは、AI出力はどこまで信用できる?QAでの整理・抽出・最終判断の分け方で整理しています。

無料チェックリスト

一般論の混入や範囲のずれをレビューで見つけるために、AI生成テストケース 6観点レビューチェックリスト(PDF)をご利用ください。

QAでの生成AI活用やレビューの進め方について相談したい場合は、お問い合わせページからご連絡ください。

タイトルとURLをコピーしました