QAテストは人かAIか：GameNobilityが実際に比べてわかった違い
予算の話がQAテストの段階に来ると、クライアントからよくこう聞かれます。「この部分はAIで回せませんか？そうすれば少し節約できるのでは？」
もっともな質問です。AIツールはこれほど速く進化しており、自動テストは人を集めて座ってゲームを遊んでもらうより効率的で安く聞こえます。
私たちの考えはこうです。AIにもQAテストでできることは確かにあります。しかし、人のテストで見つかる問題、たとえばプレイ感、フロー、画面の表現がその場の状況に合っているか、難易度のデータがターゲットプレイヤーに合っているかといったものは、今のAIではそこまで人間的な調整が難しく、AIが得意なのは繰り返しが多く精密なロジックにバグがないかの確認です。この二つは置き換え合うものではなく、協力し合う関係です。それぞれに何ができるかを先にはっきりさせてこそ、限られた予算の中で合理的な判断ができます。
短い答え：どちらか一つだけは選べません。自動化は再現可能で定量化できる機能や負荷の検証に向いており、人のQAはテンポ、理解、感情、実機での状況を判断します。マーケティングゲームで人のテストを省くと、見落としやすいのはバグよりも、プレイヤーが離脱してブランドのメッセージが見られない原因です。
AIにできること
人とAIのテストでは、自動テストツールが確かに効率的な場面があります。ボタンが反応するか、ページ遷移でエラーが出ないか、データがバックエンドに正しく書き込まれるかといった、繰り返しが多く正誤の基準が明確な機能テストは、AIのほうが人よりずっと速く、繰り返し操作で見落とすこともありません。
負荷テストも同じです。大量のユーザーが同時にログインする状況を再現し、高トラフィック時のサーバーの安定性を確かめるような、大規模な繰り返し操作が必要なテストでは、自動化ツールが人より有利です。
ゲームの機能ロジックが明確で、テスト条件をはっきり定義できるなら、自動テストでかなりの時間を節約できます。
人のテストで見つかる問題や感覚は、AIにとって問題とは限らない
ゲームQAテストで最も重要なのは、機能が動くかどうかではなく、体験が正しいかどうかです。ブランドのクライアントにとって、この差が影響するのはゲームが面白いかどうかだけではありません。今回のキャンペーンがマーケティング目標を達成できるかどうかに直結します。
あるプロジェクトでは、機能テストはすべて合格し、ロジック上の問題はまったくありませんでした。人によるテストのとき、あるテスターが3面を数分遊んだあと、「なんとなく続けたくないけど、理由がうまく言えない」と言いました。
その一言で、私たちはそのステージの設計を見直しました。すると、ある時点でテンポが急に遅くなり、手応えがなくなって、プレイヤーの集中がそこで途切れていたことがわかりました。機能面ではまったく正常なので、自動テストはこれを指摘しません。「エラー」は何もないからです。
しかし、この問題を解決しないままマーケティングキャンペーンに出すと、結果は具体的です。プレイヤーは3面で離脱し、ブランドが伝えたいメッセージは見られず、キャンペーンページの滞在時間は短くなり、コンバージョンも出ません。これはゲーム体験だけの問題ではなく、今回のマーケティング投資を回収できるかどうかの問題です。
リリース前にこの問題を見つけ、一つのステージのテンポを調整するだけなら、コストはとても低く済みます。リリース後に気づくと、修正そのものに加えて、すでに離れたプレイヤー、すでに縮んだキャンペーンの数字、そしてブランドがこのキャンペーンで本来積み上げられたはずのものに向き合わなければなりません。
人によるQAテストがもたらすのは、実際の利用シーンです
AIテストで再現しにくいもう一つの点は、実際の利用シーンの多様さです。
年齢、端末の使い方、ネットワーク環境、ゲームへの慣れの違いによって、同じゲームでも人によってまったく違う体験になります。
私たちはテストの際、あえて背景の違うテスターを集めます。ゲーム操作に慣れていない人でしか起きない問題もあれば、古いスマートフォンや不安定なネットワーク環境でしか起きない問題もあります。AIは端末のスペックは再現できても、実在の人が実際の状況でどう反応するかは再現できません。
あるとき、テスターがタブレットを横向きにして私たちのゲームを遊んだところ、あるボタンがシステムバーに隠れて押せないことに気づきました。この問題は通常のテスト端末ではまったく起きず、誰も想定していませんでした。実在の人がいつものやり方で遊んでいたからこそ見つかった問題です。
QAで見落とされがちなのは、時間のコストです
多くのクライアントがQAを見積もるとき、過小評価しているのは必要な人手やコストだけでなく、必要な時間です。
問題を見つけ、戻って直し、もう一度テストする。このサイクルはどのプロジェクトでも起こり、その回数はたいてい予想より多くなります。小さなゲームのQAでも2週間かかることがあり、もう少し複雑なプロジェクトならさらに長くなります。
スケジュール上でQAを短く詰めすぎると、結果は二つしかありません。問題を抱えたままリリースしてプレイヤーに先に見つけさせるか、延期して当初のマーケティング計画を崩すかです。
どちらもクライアントが望む結果ではありません。
QAは開発が終わってから始めるものではありません。計画の段階からスケジュールに組み込み、十分な時間を確保する必要があります。
私たち自身のやり方
CI/CDシステムでコードの統合とデプロイを処理し、GitHub Actionsでワークフローを自動化し、一部のプロジェクトではmodl.aiでシナリオテストを行っています。抽選系のプロジェクト、たとえばルーレット、スロット風ゲーム、ランダムな運勢を組み合わせた心理テストのように確率計算が関わるものは、技術者に専用の自動テストを書いてもらい、大量のプレイヤーが同時にログインする状況を再現して、確率が正しく、クライアントが損をするような抜け穴がないことを確かめます。
しかし、こうしたツールの裏側で、どれを使うか、パラメータをどう設定するか、テストロジックをどう書くかは、すべて人が判断しています。プロジェクトごとの自動化フローは一から作り込む必要があり、前の案件の設定をそのまま使うことはできません。
ツールが確認できるのは、ゲームが「動く」ことだけです。
「動く」と「面白い」の間の距離は、どんなツールでも測れません。私たちが作っているのは、コンテンツや文化を軸にしたマーケティングゲームであり、高度に複雑な大型モバイルゲームではありません。このジャンルでは、プレイヤーが続けたいと思うか、ある瞬間に何かを感じたかといった問いに、自動テストは答えられません。
だからこそ、私たちは人によるテストを一度も省いたことがありません。人のテストをするたびに、ツールでは見つからない問題が少なくとも一つ見つかります。体験上の細かな点のこともあれば、予想していなかった利用シーンのこともあり、テスターが「どこか違和感がある」と言ったので戻って調整し、もう一度テストしたらゲームがスムーズになった、ということもあります。
こうした問題をリリース前に見つけなければ、リリース後にプレイヤーが見つけることになります。
関連記事
よくある質問
自動テストと人のQA、どちらか一つを選べばいいのでしょうか？
どんなゲームでも、人のQAは欠かせません。違いは誰が行うかだけです。私たち自身のチームか、クライアント側で手配するか、専門のテスターに頼むかです。自動化ツールは繰り返しの多い機能検証を手伝えますが、体験が正しいかどうかを感じ取ることはできません。この二つは二者択一ではなく、それぞれに役割があります。
自動テストがより役立つのは、どんなゲームですか？
ゲームの種類によります。タップ式の抽選やルーレットのような操作が単純なゲームなら、自動テストで確率や機能が正常かを効果的に検証できます。ストーリーやステージ攻略、感情移入があり、プレイヤーを導きながらある時点で達成感を味わってもらう必要があるゲームでは、それは自動テストではわかりません。やはり人が実際に座って遊んでみないとわかりません。
QAテストは外部の人に頼む必要がありますか？社内の人でもできますか？
社内の人も参加できますが、見落とされがちな盲点があります。ブランド側の社内メンバーは自社ブランドをよく知りすぎていて、かえって実際の受け手の立場でゲームを感じるのが難しいのです。彼らはブランドが何を伝えたいのか、キャンペーンの背景も知っていますが、本当のプレイヤーは予備知識ゼロで入ってきます。その「初めて触れる」感覚は、本当の外部ユーザーにしか与えられません。背景の多様な外部テスターに頼むと、社内チームがまったく予想していなかった使い方の盲点が見つかることがよくあります。
QAテストは開発のどの段階で始めるべきですか？
早ければ早いほど良いです。すべての機能が完成するまでテストを待たないでください。開発の途中で段階的にテストすれば、問題が小さいうちに見つけられ、修正コストもずっと低くなります。最後にまとめてQAを行うと、問題が積み重なり、対応の時間的なプレッシャーが大きくなります。
リリース後に問題が見つかっても、挽回できますか？
できますが、代償が違います。リリース前に見つかった問題は、修正にかかる時間とコストを比較的コントロールできます。リリース後に見つかると、修正そのものに加えて、プレイヤーがすでに問題に遭遇し、離脱しているかもしれず、ブランドに悪い印象を持っているかもしれない状況に向き合わなければなりません。この影響は数字で表しにくいものの、確かに存在します。
要件を実行可能なゲームプランにまとめたい方へ
マーケティングゲームを企画中で、自動テストと人のQAをどう分担すべきか迷っているなら、まずゲーム内容、受け手、端末、リリーススケジュールをまとめて整理してみてください。
ゲームテストの流れに疑問があれば、GameNobilityと一緒に検討しましょう
