はじめに
こんにちは！QAグループのエチゴヤです。
テスト設計とテスト実施のサイクルに追われる日々の中で、「もっと業務を効率化したい…」と考えるのはQA担当者なら誰もが通る道ですよね。
今回は、私たちが取り組んでいるQA業務へのAI活用の試行錯誤について、お話ししていきたいと思います。
1. なぜAI活用を始めたのか？
アクセルラボQAでは、テスト設計者がテスト実施も担当するという体制をとっています。
プロダクトが成長し、テスト範囲が拡大・複雑化していく中で直面したのが、
・テスト実施に追われて、次のリリースに向けた設計作業が後回しになってしまう
・設計段階でテストパターンを網羅しきれない
という課題でした。
設計の質を上げたい、でもテスト実施もする中で設計に掛けられる時間は限られている……
そこで設計工数をAIの力で少しでも削減できないか？という思いからスタートしました。
2. まずは「外の世界」を覗くところから
AI活用といっても、AIでどんなことができそうかを知る必要があります。まずは以下のステップで調査を進めました。
他社の事例調査 : 他社がどのようにQA業務にAIを取り入れているか、テックブログなどから事例を徹底的にリサーチ。
アクセルラボへの適用精査 : リサーチした事例をそのまま転用するのではなく、「今の自分たちのフローに現実的に組み込めるか？」という視点で内容をフィルタリング。
エンジニアへの相談 : 他社の事例調査とあわせて、エンジニアに「AIを活用したいけど、うちではどんなことから始められるか？」を相談。
3. AI活用の下準備：ソースの精査とプロンプト作成
エンジニアとも相談し今回はスピード感を重視して、まずは使い慣れているGemini × NotebookLMの組み合わせを採用することに決めました。
- なぜこのツールを選んだのか？
最大の理由は、「すでに使ったことがあり、ツールの調査不要ですぐに試せたから」です。新しいツールを検討する時間をかけるより、まずは現状でAIにどこまでできるかを早く知りたかったのです。
- ソースの精査
AIに「良いテストケース」を作ってもらうためには、材料となるインプット情報が命です。まずは仕様の全体像を網羅するため、以下の3点を準備しました。
Figma : デザインの意図や画面遷移を把握させるため。
MTG議事録 : 仕様共有時の「ここはどうなるんだっけ？」という生の声を取り込むため。
Backlogチケット : エンジニアとPdMのやり取りの中に、エッジケースや細かい仕様変更のヒントが隠れているため。
試行に選んだ案件は小規模開発でドキュメントの数は限られていましたが、これらをNotebookLMに集約し、ナレッジソースとして活用しました。
- プロンプト作成
「テストケースを作って」という一言では、AIも困ってしまいます。そこで、調査した他社事例を参考にしつつ、観点作成とケース作成をそれぞれ別プロンプトにしたものや1つのプロンプトの中で観点作成→ケース作成→セルフレビューとステップを踏ませるものなどいくつかの手法を用意して試してみることにしました。
▼作成したプロンプト例
あなたはJSTQB AL（テストアナリスト）を保有するQAエンジニアです。 追加されたソースを精読し、以下の条件でテストケースを抽出してください。 作成後は【レビュー基準】に基づきセルフレビューをし、修正を行ってください。 もし仕様に曖昧な点があり追加すべきケース作成できない場合は、勝手に判断せず私に確認の質問を投げてください。 ▼出力形式 ・以下のカラムで表形式で作成すること。 （大項目／中項目／小項目／テスト条件／検証手順／期待結果／備考） ・正常系、準正常系、異常系をバランスよく含めること。 ・ ・ ・ ▼出力ルール ・出力は「具体的かつ端的」にすること。 ・箇条書きで提示すること。 ・独自判断でフォーマット変更しないこと。 ・極端なエッジケースは削減し、必要時は削減理由を提案すること。 ・ ・ ・ ▼レビュー基準 ①重複チェック ・内容の重複や表現違いによる重複がないか。 ②仕様整合性 ・仕様に基づかない推測や創作が含まれていないか。 ・想定外の機能や要素が紛れ込んでいないか。 ③粒度チェック ・過度に細かいケースがないか。 ・逆に不足している観点・ケースがないか。 ・ ・ ・ ▼注意事項 ・表形式のフォーマットは絶対に変更しないこと。 ・レビュー後に新規ケースを大量追加してはならない。 ・ ・ ・
4. 準備を整えていざ実行！
最初のターゲットは、開発者による受け入れテストのためのテストケース作成です。
アクセルラボの「受け入れテスト」は以前の記事でも紹介していますが、正常系の機能の確認が中心となるのでテストも複雑化せず作成しやすいはずです。
……が、結果から言うと、手放しで喜べる内容ではありませんでした。
結果：精度は約40%
AIを使用せずテスト設計者が作成したものと比較したところ、現時点での精度は4割程度という結果に。正直なところ、最初からすぐに実戦投入できるレベルのものが出力されるとは思っていませんでした。インプットしたソースの質や網羅性も、現時点ではAIのポテンシャルを最大限引き出すには不十分だろうという自覚もあったからです。
とはいえ、実際に「精度4割」という数字を目の当たりにすると、やはり残念な気持ちは拭えません。「正常系のハッピーパスは出せているが、仕様の裏側にある細かい分岐や前提条件が抜け落ちている」といった状態で、そのまま実務に組み込むにはまだ遠い、という現実を突きつけられた結果となりました。
5. 見えてきた課題
事前の調査からも予想はできていましたが、やはり以下の2点が最初の壁でした。
インプットの質 : AIに読み込ませるソース情報の網羅性が足りないと、当然アウトプットもスカスカになる。
プロンプトの難しさ : 文脈や期待値をどう伝えるかというプロンプトエンジニアリングの壁にぶつかりました。
用意したプロンプトはどれも大きく結果が変わることはなく、ある程度形にはなっているなと感じたものの、まだまだ改善していく必要がありそうです。
またインプットするソースに関しては、QAだけでどうにかなる問題ではないので開発チームも巻き込んで考えていく必要性を強く感じています。特にSpaceCoreは、多種多様なIoTデバイス、管理画面の組織構造、ユーザー種別の組み合わせが複雑に絡み合います。こうした膨大な仕様を、単なるドキュメントとしてではなく、AIが正しく理解・推論できる形でどう「記憶（コンテキスト保持）」させるか。非定型な情報を構造化してインプットする手法の確立が、今後の活用の大きな鍵になると考えています。
6. これから：打席に立ち続ける
精度40%という結果は、決して失敗だとは思っていません。むしろ現状に「何が足りないか」が明確になった収穫の多い一歩でした。
現在は、以下のようなネクストアクションを進めています。
エンジニアとの再連携 : プロンプトの改善やデータの食わせ方について、より深くエンジニアと協力体制を築いています。
Claudeでの再挑戦 : 思考能力に定評のあるClaudeを使ったテスト観点、テストケース作成を試行中です。
引き続きエンジニアと協力しながら、より出力精度を高めていくために何ができるかを考えています！
まとめ
アクセルラボQAにおけるAI活用は、まだまだ試行錯誤の段階になります。現在はテストケース作成の自動化に向けてチャレンジをしていますが、他にもAI活用が可能な業務がないか検討していきたいと考えています。
全てをAIに任せるというよりは、「AIが土台を築き、人間が価値を付加する」という最高のアシスタント関係を目指して、トライ＆エラーを続けていこうと思います！
📩 お問い合わせ・採用情報
本ブログを読んでいただきありがとうございます。 もし内容にご興味を持っていただけましたら、以下よりお気軽にお問い合わせ・ご応募ください。
スマートホームの導入をご検討中の企業様へ：
技術にご興味を持たれたエンジニアへ：
アクセルラボではエンジニア採用を強化しています。 私たちの技術やビジョンに共感し、スマートホームの未来を共に創っていきたい方のご応募をお待ちしています。
