AIでテストを自動化すれば、品質は保証されるのか

まず、言葉を丁寧に扱うところから始めます。
「品質を保証する」と聞くと、多くの人がテストを実行する場面を思い浮かべます。テストケースに沿って画面を操作し、期待どおりの結果が出るかを確認する。あの作業のことだ、と。

しかし、テストの実行は品質保証の一部分です。品質保証という一連の流れの中では、下流に位置する工程だと言えます。品質を保証するという営みの本体は、テストを実行するよりもはるか手前にあります。

ソフトウェアテストの世界には、「テスト戦略」という考え方があります。これは、テストの対象を明確にしたうえで、何を・どのように・いつテストするのかを決めることを指します。裏を返せば、テストの実行とは、この「何を・どのように・いつ」があらかじめ決まっているという前提の上で、初めて成立する行為なのです。

ここで、AIやテスト自動化ツールが担っている領域を、この枠組みに当てはめてみます。AIが得意とするのは、決められたことを速く、大量に、安定して実行することです。これは「どのように」の一部——とりわけ実行の速さと量——を大きく引き上げる力です。

しかし、AIは「何をテストすべきか」を決めてはくれません。「いつ、どの順で確認すべきか」も決めてくれません。それらは、AIに作業を渡す前に、人が戦略として設計しておくべきことだからです。

つまり、こういうことになります。AIでテストを自動化するとは、「どのように」の一部を強化することであって、「何を・いつ」という品質保証の設計そのものを肩代わりするものではない。ここを取り違えると、いくら高性能なAIを導入しても、品質は期待どおりには動きません。

「何を・いつ」を設計しないまま、「どのように」だけを速くすると、何が起きるでしょうか。
答えはシンプルです。間違ったものを、速く、大量にテストすることになります。

品質保証の現場には、「Garbage In, Garbage Out」——質の低い入力からは質の低い出力しか生まれない、という原則があります。この原則は、しばしばAIに与える指示文(プロンプト)の巧拙の話として語られます。しかし本質は、もっと上流にあります。AIに渡す前の戦略——何を守るべきで、何は捨ててよいのか、どのリスクを重く見るのか——が曖昧なままなら、その曖昧さがそっくりそのまま、大量の実行結果に増幅されて返ってくるのです。

たとえば、ある機能に致命的なリスクが潜んでいるのに、戦略の段階でそれを重要と位置づけていなければ、AIはその機能を「他と同じ一件」としてしか扱いません。一方で、ほとんど使われない画面の些末な確認を、人間が漫然と指示すれば、AIは律儀にそこへ大量のリソースを注ぎ込みます。速く回れば回るほど、この配分の誤りは拡大していきます。

これが、「大量にテストを回しているのに品質が上がらない」という現象の正体です。手段が速くなったこと自体は正しい。ただ、その速さが向かう先を決める戦略が欠けているために、速さが空回りしているのです。

AIの導入がうまくいかない本当の理由は、AIの中にはありません。AIを使う前に決めておくべきことが、決まっていないことにあります。

では、品質を本当に左右しているものは何か。それは、テストを実行するよりもずっと手前、戦略と計画の段階にあります。

品質保証には、明確な階層があります。最上流にあるのが「戦略」です。何を守り、何を捨て、どこに資源を寄せるのか。この大きな方針が、すべての出発点になります。その戦略を受けて、具体的な「計画」が立てられます。いつ、誰が、どの範囲を、どういう順で進めるのか。さらにその計画の下に、テストの「設計」があります。どんな観点で、どんなケースを作るのか。そして、その設計に基づいて、ようやくテストの「実行」がある。

この階層は、上から下へと効いていきます。戦略が計画を規定し、計画が設計を規定し、設計が実行を規定する。逆向きには流れません。どれほど丁寧にテストを設計しても、その上位にある戦略が的を外していれば、丁寧に的外れなことをするだけになります。設計もテストも、戦略と計画という上流があって初めて、意味を持つ従属物なのです。

そして——ここが最も見落とされる点ですが——AIやツールという手段は、この階層のさらに下、実行を担う最下流に位置します。戦略でも計画でも設計でもなく、決められたことを実行する道具です。

だとすれば、戦略・計画を欠いたままAIを導入するとは、家を建てるのに、基礎も設計図もないまま最新の電動工具だけを買い込むようなものです。工具は速い。よく動く。しかし、何を建てるかが決まっていなければ、その速さは形になりません。

具体的に考えてみましょう。たとえば、大規模な会員基盤を持つシステムで、「検索結果の表示にかかる時間を短くする」という改修があったとします。

戦略の段階で最初に行うのは、この改修が持つ性質を見極めることです。表示速度の改善は、性能に関わる品質特性の問題です。同時に、検索結果が正しく出るかという機能の正しさも当然守らなければなりません。次に、この改修に潜むリスクを洗い出します。速度を優先するあまり、まれな条件で検索結果が欠けることはないか。負荷が高まる時間帯に性能が落ちないか。会員データと連動する部分に影響は及ばないか。

こうしてリスクと守るべき品質特性が見えてきて初めて、「では、何を・どのように・いつ確認するか」という戦略が定まります。性能を重点的に測るのか、機能の正しさを網羅するのか、その両方をどの比重で組むのか。この判断があって、ようやく計画が立ち、テストが設計され、そして実行に移せる。

AIやツールが登場するのは、この一連の流れの、いちばん最後です。戦略と計画と設計がそろったうえで、それを実行する段になって初めて、手段の出番が来る。品質を決めているのは、この手段より前のすべて——とりわけ、最上流の戦略と計画なのです。

ここまで読むと、「では戦略と計画さえしっかりしていれば、手段は何でもよいのか」と思われるかもしれません。
そうではありません。ここが、この記事でいちばんお伝えしたいことです。

戦略と計画が重要だからといって、それを実行する手段(How)は何でもよい、ということにはなりません。むしろ逆です。良い戦略ほど、それを最大限に生かせる手段を選びます。

理由はこうです。良い戦略・計画とは、「何を・どのように・いつ」を高い精度で定めたものです。このリスクを重く見る、この品質特性をこの深さで確認する、この順序で進める——精度が高いほど、指示は繊細で、こまやかになります。

ところが、その繊細な戦略を、それを忠実に実行できない手段に渡すと、どうなるでしょうか。実行の段階で、戦略の精度が目減りします。せっかく「ここを重点的に、この深さで」と定めたのに、手段がその機微を汲み取れなければ、実行結果はのっぺりと均されてしまう。良い戦略が、悪い実行によって台無しになる——これは現場で本当によく起きることです。

一般的なAIテストツールを考えてみます。それらは、テストを速く実行する能力においては優れています。しかし、多くのツールは「何を良しとするか」という品質の基準そのものを内部に持ってはいません。基準は、使う側が持っている前提で作られているからです。だから、優れた戦略を渡しても、ツールはその戦略が依拠している品質基準を理解しないまま、指示された操作を機械的に速く実行します。結果として、戦略が想定していた「重点の置き方」や「観点の深さ」が、実行段階でこぼれ落ちる。

言い換えれば、戦略と実行が、別々の言葉で動いているのです。戦略は品質基準の言葉で語られているのに、実行を担う手段はその言葉を解さない。この断絶があるかぎり、戦略の精度は実行まで届きません。

戦略の効果が最大化されるのは、戦略と実行が同じ基準で貫かれているときだけです。戦略を組み立てた品質の基準と、それを実行する手段が持つ基準が、同じものであること。そのとき初めて、上流で定めた精度が、下流の実行までロスなく到達します。

ここまでの話を、私たちがどう形にしているかをお伝えします。

SHIFTには、SQF(SHIFT Quality Framework)という品質保証の標準があります。これは、国際的な品質保証の標準に、数多くの現場で積み上げてきた知見を組み合わせたもので、テストの戦略・計画・設計・実行という一連のプロセスを、どういう順で、何を根拠に、どう進めるかを体系として定めたものです。

先ほど例に挙げた、品質特性を特定し、リスクを洗い出し、戦略を組み立て、計画へ落とし込むという流れ——あれは思いつきの手順ではなく、このSQFという標準に沿った、再現性のある型です。誰が担当しても、同じ根拠から同じ質の戦略にたどり着けるように整えられています。

そして、SHIFTが提供するAIテストのサービス「ネムラナイ」は、このSQFを、AIが担うテスト設計からテスト実行までのすべてに組み込んでいます。つまり、戦略を組み立てるときに拠りどころとする基準(SQF)と、AIがテストを設計し、実行するときに拠りどころとする基準(SQF)が、同じものなのです。

これが意味することは、先ほどの話に照らせば明らかです。戦略と、その下流にあるテスト設計・実行が、同じ基準で貫かれている。上流の戦略で「このリスクを、この観点で、この深さで」と定めた精度が、テストを設計するAIにも、実行するAIにも、同じ基準として共有されているため、下流に進む過程で目減りしない。戦略の効果が、設計から実行の最後まで到達する。

一般的なAIテストツールが「速く実行する手段」であるのに対し、ネムラナイは「戦略と同じ品質基準を、テスト設計から実行まで一貫して持ち込む手段」である。この違いが、良い戦略・計画の効果を最大化できるかどうかを分けます。

「AIでテストを自動化すれば、品質は保証されるのか」。

冒頭のこの問いに、ここまでの話は一つの答えを返します。

AIで自動化すること自体は、品質を保証しません。品質を保証するのは、その手前にある戦略と計画です。何を守り、何を捨て、どのリスクを重く見るのか——この設計があって初めて、品質保証は成立します。

しかし同時に、戦略さえあれば手段は何でもよい、というわけでもありません。良い戦略ほど、その精度を実行までロスなく届けられる手段を必要とします。戦略と実行が同じ品質基準で貫かれているとき、戦略の効果は最大化されます。

だから、問いへの本当の答えはこうなります。品質は、戦略と計画を設計し、その効果を最大化する手段を選んで実行して、初めて保証に近づく——と。

AIは、その手段として大きな力を持っています。ただし、それが戦略と同じ基準で動いているときに限ります。SHIFTがネムラナイで目指しているのは、まさにそこです。品質保証の戦略を体系(SQF)として持ち、その同じ基準をAIによるテスト設計から実行までに貫くことで、良い戦略の効果を、実行の最後まで届ける。

AIをどう使うかを考える前に、まず問うべきことがあります。私たちは、何を・どのように・いつ確認しようとしているのか。その戦略が定まったとき、AIは初めて、品質を保証する力になります。

SHIFTのAIテストサービス「ネムラナイ」について詳しくは、ネムラナイ紹介ページをご覧ください。