AI搭載システムと普通のWebシステムの違い
従来型のWebシステムのよくある仕組みは、上記の図のように、
・データベースをもち、ユーザーによる操作に従ってデータベースに保存されたデータを取り出す
・業務ロジック通りの計算式でデータを加工し表示する
・入力されたデータを保存する
というような仕組みが一般的でした。
このため「こう入力されたらこう出力する」という出力値があらかじめ明確に定義できる特性がありました。また、プログラムを更新しない限り業務ロジックは変更されませんので、たとえば10年後であっても同じ結果を出力しつづけます。
一方でAI搭載システムは、出力値を事前に定義、予測できないという特性があります。これはAIが”モデル”によってブラックボックス的に出力値を計算するため起きる性質です。また、最新データ（新商品の情報など）をシステムに取り込む際、AIに学習させる必要があるため、一般的には追加で”学習”を行います。AIが学習を行うと、結果として”モデル”が変化します。この変化はAIまかせになるため、人間の期待通りに変化してくれる場合もあれば、かえって精度が下がってしまう（劣化）といったリスクもあることに注意しなければなりません。
従来型のWebシステムとAI搭載システムの違いを整理すると下表のようになります。
| 比較項目 |
従来型Webシステム |
AI搭載システム |
| 出力結果 |
確定的
予測できる
|
確定的
予測できない |
| 計算方法 |
ルールベース
ルール通りにプログラミング
|
モデルベース
学習データをAIモデルに与える |
| 学習 |
なし
|
あり |
| 劣化 |
しない
|
する |
| 透明性 |
ホワイトボックス
ソースコードを読めばわかる
|
ブラックボックス
モデルを見てもわからない |
AI システムのはらむリスク -AIならではの品質保証の必要性-
AI搭載システムならではの特性について、具体的に見ていきましょう。
・学習データだけでなく、実データでも正しく営業売上を予測できるか
・工場ラインの不良品検出の見落としをしないか
・データが変わっても（年代、季節が変わる）、売上予測精度が劣化しないか
・自動運転のセンサカメラが標識の汚れ（画像の微小摂動）により誤動作しないか
・証券の自動取引における許容範囲を超えた発注が来ても、破綻しないか
これらのリスクは通常のWebシステム開発では存在しなかった、AI搭載システムならではのリスクです。このリスクを管理するため、AIシステム開発プロジェクトではいままでにない特別な対応＝AI品質保証が必要といえます。
AI品質保証とは
では、AI搭載システムの品質保証はどのようなものであるべきでしょうか。まずSHIFTが考えるAI品質は、国立研究開発法人産業技術総合研究所「機械学習品質マネジメントガイドライン（AIQM)」（以下「産総研AIQM」という）を参考に、
・製品全体の利用時品質
・機械学習要素の外部品質
・機械学習要素の内部品質
の三層に分けて考えています。
また、製品全体の利用時品質特性とはすなわちAI自体の価値であり、それを支える外部品質特性はリスク回避性とAIパフォーマンス、さらにその下には内部品質特性があり、それはデータ設計、データ品質、AIモデル品質、プログラム品質、運用時品質維持の5つの様相で構成されていると考えます（産総研AIQMをベースに、SHIFT独自解釈を含む）。
SHIFTではこのAI品質を保証するためのフレームワーク「AI品質保証フレームワーク」を上記の図のように定めました。これはAI品質の三層（利用時品質、外部品質、内部品質）の基盤が「テスト設計」であるととらえ、テスト設計次第でAI品質は左右されること、またテスト設計は内部品質特性に基づいて行う、というものです。
このフレームワークに基づけば「予測できない」「劣化の危険性がある」といったAI搭載システムならではの品質保証の難しさをAIの内部品質特性5要素に分解できるため、それら一つ一つについて解像度の高いテスト設計を行うことができ、ひいてはAI搭載システムの品質保証につながると考えます。
関連サービスについて
プロジェクトに求められるアクション
今まで見てきたように、AI搭載システムのテストは従来型のWEBシステム開発と違い“動けばOK”“それらしい回答が得られればOK”ではありません。プロジェクト計画の中に特別なテスト、それもAIならではの品質保証工程を組み込む必要があります。そのためにはAIの特性をしっかりと理解したメンバーをテスト担当として早期に（要件定義段階から）参画させ、開発するAIシステムに合わせたテスト設計を行う工程を考慮する必要があります。
SHIFTが提供できるサービス
SHIFTはAIの品質保証として参画した多くの事例があり、また「AI品質保証サービス」としてテスト戦略の設計からテスト実行まで参画することができます。
たとえば要件定義フェーズでは以下のようなテスト設計の検討をお客様と一緒に行います。もちろんその後のテスト実行までサポートすることも可能です。
まとめ
AI搭載システムは運用開始後に性能が劣化する恐れがあります。そのためその特性を考慮したテスト戦略を実行しておかないと、運用開始後にトラブルを引き起こすことになってしまいます。AI搭載システムの実用化を確実に行うため、AI品質保証のキーワードで、プロジェクト計画を見直しされてはいかがでしょうか。
SHIFTのAI特化型品質保証サービスはこちらをご覧ください。
＞＞AI特化型品質保証サービスページへ
ご相談はこちらから
＞＞お問い合わせページへ
ダウンロード
