Introduction
生成AI(ChatGPTなど)に代表されるAIサービスの精度が非常に上がり実用性が高くなってきたことを背景に、AIサービスを組み込んだシステム開発が非常に盛んに行われるようになってきました。次々と革新的なアプリケーションが生み出されるなか、システム開発プロジェクトはいままで通りの進め方でよいのでしょうか?何か考慮することはないのでしょうか?本コラムでは従来型のWebシステム開発とAI搭載のシステム開発とを比較することで、AIの特性を理解し、また「AI品質保証」という考え方を説明します。
目次
AI搭載システムと普通のWebシステムの違い
従来型のWebシステムのよくある仕組みは、上記の図のように、
・データベースをもち、ユーザーによる操作に従ってデータベースに保存されたデータを取り出す
・業務ロジック通りの計算式でデータを加工し表示する
・入力されたデータを保存する
というような仕組みが一般的でした。
このため「こう入力されたらこう出力する」という出力値があらかじめ明確に定義できる特性がありました。また、プログラムを更新しない限り業務ロジックは変更されませんので、たとえば10年後であっても同じ結果を出力しつづけます。
一方でAI搭載システムは、出力値を事前に定義、予測できないという特性があります。これはAIが”モデル”によってブラックボックス的に出力値を計算するため起きる性質です。また、最新データ(新商品の情報など)をシステムに取り込む際、AIに学習させる必要があるため、一般的には追加で”学習”を行います。AIが学習を行うと、結果として”モデル”が変化します。この変化はAIまかせになるため、人間の期待通りに変化してくれる場合もあれば、かえって精度が下がってしまう(劣化)といったリスクもあることに注意しなければなりません。
従来型のWebシステムとAI搭載システムの違いを整理すると下表のようになります。
比較項目 | 従来型Webシステム | AI搭載システム |
出力結果 |
確定的 |
確定的 予測できない |
計算方法 |
ルールベース |
モデルベース 学習データをAIモデルに与える |
学習 |
なし |
あり |
劣化 |
しない |
する |
透明性 |
ホワイトボックス |
ブラックボックス モデルを見てもわからない |
AI システムのはらむリスク -AIならではの品質保証の必要性-
AI搭載システムならではの特性について、具体的に見ていきましょう。
・学習データだけでなく、実データでも正しく営業売上を予測できるか
・工場ラインの不良品検出の見落としをしないか
・データが変わっても(年代、季節が変わる)、売上予測精度が劣化しないか
・自動運転のセンサカメラが標識の汚れ(画像の微小摂動)により誤動作しないか
・証券の自動取引における許容範囲を超えた発注が来ても、破綻しないか
これらのリスクは通常のWebシステム開発では存在しなかった、AI搭載システムならではのリスクです。このリスクを管理するため、AIシステム開発プロジェクトではいままでにない特別な対応=AI品質保証が必要といえます。
AI品質保証とは
では、AI搭載システムの品質保証はどのようなものであるべきでしょうか。まずSHIFTが考えるAI品質は、国立研究開発法人産業技術総合研究所「機械学習品質マネジメントガイドライン(AIQM)」(以下「産総研AIQM」という)を参考に、
・製品全体の利用時品質
・機械学習要素の外部品質
・機械学習要素の内部品質
の三層に分けて考えています。
また、製品全体の利用時品質特性とはすなわちAI自体の価値であり、それを支える外部品質特性はリスク回避性とAIパフォーマンス、さらにその下には内部品質特性があり、それはデータ設計、データ品質、AIモデル品質、プログラム品質、運用時品質維持の5つの様相で構成されていると考えます(産総研AIQMをベースに、SHIFT独自解釈を含む)。
SHIFTではこのAI品質を保証するためのフレームワーク「AI品質保証フレームワーク」を上記の図のように定めました。これはAI品質の三層(利用時品質、外部品質、内部品質)の基盤が「テスト設計」であるととらえ、テスト設計次第でAI品質は左右されること、またテスト設計は内部品質特性に基づいて行う、というものです。
このフレームワークに基づけば「予測できない」「劣化の危険性がある」といったAI搭載システムならではの品質保証の難しさをAIの内部品質特性5要素に分解できるため、それら一つ一つについて解像度の高いテスト設計を行うことができ、ひいてはAI搭載システムの品質保証につながると考えます。
関連サービスについて
プロジェクトに求められるアクション
今まで見てきたように、AI搭載システムのテストは従来型のWEBシステム開発と違い“動けばOK”“それらしい回答が得られればOK”ではありません。プロジェクト計画の中に特別なテスト、それもAIならではの品質保証工程を組み込む必要があります。そのためにはAIの特性をしっかりと理解したメンバーをテスト担当として早期に(要件定義段階から)参画させ、開発するAIシステムに合わせたテスト設計を行う工程を考慮する必要があります。
SHIFTが提供できるサービス
SHIFTはAIの品質保証として参画した多くの事例があり、また「AI品質保証サービス」としてテスト戦略の設計からテスト実行まで参画することができます。
たとえば要件定義フェーズでは以下のようなテスト設計の検討をお客様と一緒に行います。もちろんその後のテスト実行までサポートすることも可能です。
AIシステムの品質保証ー基本と進め方―
本資料は、AIシステムの品質保証をテーマに、 SHIFTで実施しているノウハウを紹介しながら具体的な手法や進め方などを説明しています。
AIシステムの安全性と信頼性を確保することで、ユーザーに安心感を提供し、その結果、より広範囲での利用を促進いただけます。品質が確保されたAIシステムは、予測精度が高まり、ビジネスの意思決定や社会問題の解決に大きく貢献します。ぜひご覧ください。
本資料は、AIシステムの品質保証をテーマに、 SHIFTで実施しているノウハウを紹介しながら具体的な手法や進め方などを説明しています。
AIシステムの安全性と信頼性を確保することで、ユーザーに安心感を提供し、その結果、より広範囲での利用を促進いただけます。品質が確保されたAIシステムは、予測精度が高まり、ビジネスの意思決定や社会問題の解決に大きく貢献します。ぜひご覧ください。
まとめ
AI搭載システムは運用開始後に性能が劣化する恐れがあります。そのためその特性を考慮したテスト戦略を実行しておかないと、運用開始後にトラブルを引き起こすことになってしまいます。AI搭載システムの実用化を確実に行うため、AI品質保証のキーワードで、プロジェクト計画を見直しされてはいかがでしょうか。
SHIFTのAI特化型品質保証サービスはこちらをご覧ください。
>>AI特化型品質保証サービスページへ
ご相談はこちらから
>>お問い合わせページへ