生成AIへ仕様や既存テストを渡すと、短時間で多くのテスト観点やテストケース候補を作れます。しかし、件数が多いことと、そのまま実行できることは同じではありません。
今回の通知設定機能のサンプルでは、テスト観点29件とテストケース27件を人がレビューしました。その過程で、もっともらしい一般論、担当範囲を越えた確認、重複や粒度の大きいケース、実行方法のない手順が混ざりました。
この記事では、実際に見つかった4種類の失敗を、修正方法とあわせて整理します。
先に結論をまとめると、4つの失敗は次のように見分けられます。
| 失敗 | 出力に現れる兆候 |
|---|---|
| 一般論の混入 | 根拠箇所を示せず、もっともらしい期待結果だけが書かれている |
| 範囲のずれ | QAが操作・観測できない処理まで合否判定に含まれている |
| 粒度・重複 | 一つのケースに複数条件が入り、逆方向の確認が抜けている |
| 手順不足 | 目的は妥当でも、イベントやエラーの発生方法を説明できない |
明らかな誤答だけを探しても、これらは見つかりません。根拠、担当範囲、ケース間の対応、再実行可能性を順に確認する必要があります。
失敗1:一般論が対象機能の仕様として混ざる
実際に起きたこと
- ID22では、「ブラウザの通知許可が必要」という記述だけでは合格基準が曖昧だった
- ID27では、複数タブ・複数デバイスの同時変更について、期待動作が仕様にないのに「予測可能であること」という観点が作られた
- 削除前の確認項目V04-C03では、イベント設定の「以前の設定」を「直近の変更」と読み替えていた
何が問題か
- 一般的に正しそうでも、対象製品に実装されているとは限らない
- 合格基準の根拠がなく、人によって期待結果が変わる
- AIが補った前提が、仕様上の事実に見えてしまう
見分け方
- 根拠資料と根拠箇所を1件ずつ確認する
- 「一般知識」「推測」「資料に記載なし」を仕様由来の候補と分ける
- 期待結果の各語が資料に存在するか確認する
対策
- 出所列と未確認事項列を設ける
- 判断できないものを無理に採用・不採用へ振り分けず、要修正・確認待ちとして残す
- AIに不足を埋めさせず、仕様担当者への質問へ変換する
失敗2:対象範囲を越えた確認が混ざる
実際に起きたこと
- QAが確認できる「通知要求の作成・保留」と、外部配送基盤による「配信」が混同されかけた
- PCブラウザとスマートフォンブラウザの利用可否という大きな観点に、資料にない機能差まで含める必要が生じた
- 権限制御や複数デバイス競合など、今回選んだ5観点の外にある確認が候補になった
何が問題か
- 他チームの担当領域や観測できない内部処理まで合否判定の対象になる
- 必要な環境、権限、ログがなく、ケースを実行できない
- 本来確認したいリスクより作業範囲が大きくなる
見分け方
- 対象機能、対象外機能、テストレベル、QAの担当範囲と照合する
- 期待結果をどの画面・ログ・保存結果で確認するか説明できるかを見る
- 選択した観点IDに対応しないケースが増えていないか確認する
対策
- 生成前に対象・対象外と観測可能な結果を明記する
- 「配信される」ではなく「通知要求が作成される」など、確認可能な表現へ限定する
- 対象外の候補は削除せず、別工程・別チームへの確認事項として分ける
失敗3:粒度がそろわず、重複や抜けが生まれる
実際に起きたこと
- TC-V09-C04-01では、開始前・停止中・終了時の3条件を一つにまとめ、各条件の個別ケースと重複した
- オンからオフへの変更だけが作られ、オフからオンへの逆方向が抜けた
- 通知許可の一般的な確認と、許可の3状態ごとの保存確認が重複した
- 似ているがリスクの異なる日付またぎ、境界時刻、停止中通知の扱いを統合しそうになった
何が問題か
- 一つのケースが失敗したとき、どの条件が原因か切り分けにくい
- 件数は多くても、同じリスクを繰り返しているだけになる
- 片方向だけを確認し、状態遷移の網羅性が不足する
見分け方
- 1ケースに主要な条件・操作・期待結果が一つずつか確認する
- ケースIDから観点ID、確認項目IDまで対応を追う
- 正方向と逆方向、変更前と変更後、境界前・境界・境界後を表で比較する
対策
- 観点から直接ケースを作らず、確認項目を間に置く
- 重複判定は文言ではなく「確認する主要リスク」で行う
- 統合する項目と分ける項目の基準をルールファイルへ記載する
失敗4:目的は正しいが、実行・判定できる手順にならない
実際に起きたこと
- TC-V09-C01-01~C03-01では、通知対象イベントを発生させる具体的な方法が資料になかった
- 通知要求が作成・保留されたことを確認する画面やログが定義されていなかった
- TC-V19-C01-01~C03-01では、保存失敗時の期待結果には根拠があったが、通信エラーの再現方法が決まっていなかった
- 他方の通知設定が変わらないことだけを書き、操作した側が意図どおり保存されたことが期待結果から抜けた
何が問題か
- 別の担当者が同じ条件で再実行できない
- 期待結果を観測できず、合否を決められない
- テスト目的が妥当という理由だけで採用すると、実行工程で止まる
見分け方
- 前提条件、テストデータ、操作、期待結果を順に読み、欠けた列がないか確認する
- エラーやイベントをどう発生させるかを具体的に説明できるか確認する
- 期待結果をどこで観測するか、操作対象と非操作対象の両方について確認する
対策
- 実行方法と観測方法が未確定なら「要修正」にする
- 未確認事項に、追加で決めるべき内容と確認先を記録する
- 期待結果には、操作した側の保存結果と影響を受けない側の状態を両方書く
4つの失敗をレビューで見つける確認表
| 失敗 | 確認する質問 | 判断できない場合 |
|---|---|---|
| 一般論の混入 | 期待結果の根拠資料と根拠箇所はあるか | 未確認事項へ記録する |
| 範囲のずれ | QAの担当範囲で実行・観測できるか | 対象外または別担当への確認に分ける |
| 粒度・重複 | 一つの主要リスクを一つのケースで確認しているか | 分割・統合・不足方向の追加を検討する |
| 手順不足 | 別の担当者が再実行し、同じ基準で合否を決められるか | 要修正として再現方法と観測方法を確認する |
AIへの指示だけでは防げなかったこと
- 修正範囲を指定しないと、「人の判定」「判定理由」以外の観点文や根拠欄まで書き換わることがある
- 完了報告の件数が成果物と一致しないことがある。記事004では27件に対して「採用18件・要修正7件・不採用1件」と報告され、1件不足していた
- 「推測しない」「重複させない」と指示しても、最終的な適用可否と合否基準は人が確認する必要がある
このため、指示文の改善だけでなく、変更対象の限定、差分確認、IDと件数の機械的な検算を工程に含めます。
まとめ
- 一般的に正しそうな内容と、対象製品の仕様を分ける
- 対象範囲と観測可能な結果を生成前に決める
- 観点、確認項目、テストケースの段階を分けて粒度をそろえる
- 実行方法と観測方法がないケースは、目的が妥当でも要修正にする
- AIの完了報告ではなく、成果物の根拠、差分、ID、件数を確認する
生成AIの出力で問題になるのは、明らかな誤りだけではありません。もっともらしく、目的も妥当なのに、対象製品では合否を決められない項目が混ざることです。候補作成はAIに任せても、適用範囲と最終判断は人が持つ必要があります。
次に読む記事
AI出力をどこまで使い、どこから人が判断するかは、AI出力はどこまで信用できる?QAでの整理・抽出・最終判断の分け方で整理しています。
無料チェックリスト
一般論の混入や範囲のずれをレビューで見つけるために、AI生成テストケース 6観点レビューチェックリスト(PDF)をご利用ください。
QAでの生成AI活用やレビューの進め方について相談したい場合は、お問い合わせページからご連絡ください。

