2024.08.28

マルチモーダルAIとは？生成AIや各業界での活用事例、課題について解説

著者株式会社SHIFT　マーケティンググループ

Introduction

生成AIの技術は、いまやなくてはならないものとなりました。さまざまな業界に活躍の場を広げており、日々進化しつづけています。

そのなかで注目を集めているマルチモーダルAIとは、どのような技術なのでしょうか？マルチモーダルAIとは、複数の種類のデータを複合的に活用することで、高度な判断や機能を実現するAIのことです。

この記事では、マルチモーダルAIの定義、マルチモーダルAIで実現できること、活用事例などについて解説します。

マルチモーダルAIとは

ここでは、マルチモーダルAIの定義、シングルモーダルAIとの違いなどについて見ていきましょう。

異なる種類の情報をまとめて扱うAIのこと

AIでは、テキスト、音声、画像、動画など、さまざまなデータを扱います。このようなデータの種類をモダリティと呼び、複数のモダリティから情報を得て活用するAIを、マルチモーダルAIといいます。

産総研マガジンの『“マルチモーダルAI”とは？科学の目でみる、社会が注目する本当の理由』によると、次のように定義されています。

マルチモーダルAI

マルチモーダルAIとは、異なる種類の情報をまとめて扱うAIのことです。

複数の種類のデータを組み合わせることで、より豊かな情報を処理できます。たとえば、テキスト情報から画像を生成する、映像から音声データを生成するなどが可能です。また、映像データとテキストデータを組み合わせて、お互いの弱点を補完しあうという使い方もあります。

たとえば、自動運転技術でカメラ映像のみをデータとして扱い、解析するのではなく、レーダーで感知したデータも組み合わせることがあります。カメラは写ったものが何かを判別することは得意ですが、暗い場所や逆光などで判別する力は落ちるでしょう。そこで、レーダーで判別した人や車両の映像を組み合わせることで、カメラの弱点を補完することが可能です。

このように、一つのデータの種類に限るのではなく、さまざまなデータを組み合わせて解析することで、新たな問題解決手段になるでしょう。

シングルモーダルAIとの違い

シングルモーダルAIとは、文字どおり、一つの種類のデータを用いて処理を行うAIです。シングルモーダルAIは、映像データからテキスト情報を出力する、テキストデータを音声データに変換するなどを行います。一方、マルチモーダルAIは、画像データ、テキストデータ、センサーデータなどの複数のデータを処理して、何らかの結果を出力するなどです。

マルチモーダルAIとシングルモーダルAIの違いを、以下の表にまとめました。

	マルチモーダルAI	シングルモーダルAI
扱うデータの種類	複数のデータを組み合わせる	単一のデータのみ
処理方法	複数のモダリティから相関関係などを割り出す	単一のモダリティに特化した処理を行う
実現できること	複数のモダリティを組み合わせるため、データ同士が補完しあい、高度な表現が可能	単一モダリティのため、相互補完はできず、表現は制約される

上記のとおり、マルチモーダルAIでは複数のモダリティを活用するため、複雑な判断が可能となり、より高度な機能を実現できます。

マルチモーダルAIは生成AIでも広く活用されている

マルチモーダルAIは、とくに生成AIの分野で幅広く活用されています。

たとえば、自然言語処理を用いた大規模言語モデルは、テキストや画像データなどを学習して結果を出力します。この分野でマルチモーダルAIを活用すれば、音声、動画以外にもさまざまな種類のデータを活用することで、物事を多角的にとらえることが可能です。ChatGPTなどもマルチモーダルAIを活用しており、機能がますます高度化しています。

マルチモーダルAIでできること

マルチモーダルAIで実現できることについて、解説します。

テキスト・画像・音声・動画などを組み合わせたデータ処理

さまざまな種類のデータを組み合わせて、高度な解析を行うことが可能です。

たとえば、質問するとネットなどから情報を得て答えてくれるChatGPTには、最新の生成AIであるGPTが搭載されています。このGPTは、テキストデータと画像データを組み合わせて扱うことが可能な、マルチモーダルAIです。

最新のGPTを搭載したChatGPTは、テキストの質問文だけでなく、画像による入力も対応できます。質問を文字入力しなくても、手書きメモの画像から質問内容を判別することが可能です。

スムーズかつ高精度なデータ変換

マルチモーダルAIは、人間が五感で情報を読みとって判断するように、さまざまな情報を読みとり、瞬時に処理することが可能です。そのため、スムーズかつ高精度な対応ができ、直感的な作業に適しているといわれています。

さらに、蓄積された高度な動作の記録をディープラーニングすることで、次の動作を予測することも可能です。五感で情報を読みとる人間に近いデータ認識とすばやい判断を行い、ディープラーニングによる高度な予測などが可能になり、より高度なAIとして今後も活躍するでしょう。

行動認識

マルチモーダルAIは、画像データ、音声データ、動きのデータなどを統合し処理するため、人や動物、車両などの行動認識も得意です。

たとえば、防犯カメラで判断するのが画像データだけだと、写っている人たちが普通に会話しているのか、口論となっているのかが判断しにくいことがあります。画像データのみだと人がくっついているだけなので問題ないと判断されても、音声データがあると手足の自由を奪われ、脅されていることがわかるかもしれません。

このように、複数のデータがあれば判断能力が向上する、高度な処理ができるなどメリットが増えます。マルチモーダルAIはさまざまな情報を解析できるため、行動認識能力が高いのです。

異常の検知

マルチモーダルAIは、異常の検知にも適しています。

たとえば、製造業の生産ラインで流れてくる生産物を画像で認識して、不良品を検知するAIが幅広く普及しています。しかし、画像による解析で、見た目だけで判断できる情報はそう多くありません。そこで複数の種類のセンサーを導入して、温度、湿度、振動などの情報も収集し、それらの情報を組み合わせることで、不良品検知の精度が向上します。温度が高すぎることで異常が起きていたり、振動で内部構造を判断したりと、複数のデータを組み合わせることで検知精度が大幅に向上するでしょう。

このように、マルチモーダルAIによって、高度な異常検知機能を実現できます。

より人間に近い判断

マルチモーダルAIによる判断は、より人間に近い判断を実現できるともいわれています。

人間は見た目、におい、音、振動、手触りなど、さまざまなデータを総合して判断しています。マルチモーダルAIはまさにそれが可能な仕組みであり、画像データ、音声データ、センサーデータなどを駆使して、高度な判断を行うことが可能です。

高技能の習得

マルチモーダルAIは、人間に近い判断ができるとご説明しました。それを瞬時にできるため、高い技能をスムーズに習得することが可能です。

さらに、それらの高度な動作の蓄積をディープラーニングすることで、今後のモデルを予測することも可能です。高度な技能を習得して瞬時に判断できる、さらに予測にもつなげられることで、マルチモーダルAIは今後ますます活躍の場が広がるでしょう。

【業界別】マルチモーダルAIの活用事例

上記でご説明したとおり、マルチモーダルAIはさまざまな高度な機能を実現できます。ここでは、業界別にマルチモーダルAIが活用されている具体的な事例について、ご説明します。

警備・セキュリティ業界

防犯、セキュリティ分野で、映像だけでなく音などの複数の情報を活用した高度な状況判断ができる、マルチモーダルAIが活躍しています。

たとえば、大規模な商業施設などに防犯カメラを設置し、迷惑行為や万引きなどを行う人物を特定する必要があったとします。このときに、画像だけでは写った人の行動の詳細を特定できないことがありますが、音声も加われば大声を出して騒いだなどの情報を得ることが可能です。

このように警備・セキュリティ業界では、主に防犯カメラでマルチモーダルAIが活躍しています。

自動車業界

自動車業界では自動運転技術の進化が著しく、その理由の一つにマルチモーダルAIの登場があります。

自動車に備えつけられたカメラで、人、モノ、車両、交通標識、道路、障害物などさまざまなものを認識して判断を行います。その際にカメラ画像だけではなく、救急車や踏切の音などの音声情報や、自然言語処理で解析した人の会話の情報などがあれば、より適切な判断が可能です。

自動運転技術は、カメラ映像以外の複数の情報を加えることで、より進化しています。

製造業

製造業の分野でも、人間のように複数の情報を判断できる、マルチモーダルAIが活躍しています。生産ラインにおける異常検知や検品作業、組み立て作業などを行う際に、画像データ、音声データ、温度データなどから情報を得ることで、より高度な判断や作業が可能です。

小売業

小売業では、仕入れ管理や在庫管理が売上を左右しますが、ここにもAIが活用されています。

小売業の種類によっては、仕入れ数や在庫数を適切に管理するためには、毎日売上予測をする必要があります。雨の日や晴れの日、気温が高い日、近くでイベントが開催される日など、その日ごとにかわる状況に応じて予測をしなければなりません。

このとき、過去の売上データから予測するだけでなく、店内のカメラに映し出された顧客の様子や表情、会話などのデータも活用することで、予測精度をあげることも可能です。

医療業界

医療業界では、CT画像、X線画像、患部を撮影した画像、検診結果、心音データ、問診表の内容など、あらゆるデータを解析して病状を判断する必要があります。

そこで、マルチモーダルAIにより、画像データ、音声データ、テキストデータなど複数の種類のデータを解析することで、熟練の医師レベルの診断能力を発揮することが期待されています。

介護業界

介護業界では、高齢者の見守りや話し相手ができるシステムに、マルチモーダルAIが活用できると考えられています。会話する相手の表情、声、話す内容などから相手の感情を認識し、状況にあった自然な対話が実現できると期待されています。

マルチモーダルAIの課題

マルチモーダルAIには、多くの可能性が秘められている一方で、課題も存在します。ここでは、マルチモーダルAIの課題について解説します。

データ処理に時間がかかる

扱うデータの種類が増えることは、その分データ処理の時間がかかるということです。また、さまざまなデータの種類にあわせた解析方法も用意しなければならず、処理の負担も重くなります。

一種類のデータのみを扱うシングルモーダルAIと比べると、処理に時間がかかります。負荷が高いというデメリットがあるため、運用時に問題が発生しないか検証が必要です。

判断根拠がわかりにくい

さまざまなデータを複合的に判断して結果を出すため、その判断根拠がわかりにくくなるという問題もあります。利用者が判断根拠をつかめないと、その結果が正しいかどうかを検証できません。

AIによる判断は絶対ではないため、重要な判断の場合には人の検証が必要です。その際に、判断がつきにくいと検証もむずかしくなるでしょう。

AIシステムの品質保証

本資料は、AIシステムの品質保証をテーマに、 SHIFTで実施しているノウハウを紹介しながら具体的な手法や進め方などを説明しています。
AIシステムの安全性と信頼性を確保することで、ユーザーに安心感を提供し、その結果、より広範囲での利用を促進いただけます。品質が確保されたAIシステムは、予測精度が高まり、ビジネスの意思決定や社会問題の解決に大きく貢献します。ぜひご覧ください。

ダウンロード

まとめ

この記事では、マルチモーダルAIの定義、マルチモーダルAIで実現できること、活用事例などについて解説しました。マルチモーダルAIは、さまざまな種類のデータを複合的に活用することで、高度な判断ができる進化したAIです。そのため、幅広い分野で活躍の場が広がっており、今後も進化していくでしょう。

しかし、AIの判断は絶対ではなく、過信は禁物です。正しいAI品質保証を行うことで、品質を高めていかなければなりません。

SHIFTでは、AI特化型の品質保証サービスを提供しています。効果的なAIや機械学習を活用する環境と、安全性の高いシステム開発をサポートいたします。AI開発や機械学習で品質に問題意識を感じている場合は、ご相談ください。

＞＞AI特化型品質保証サービスのページへ
＞＞お問い合わせページへ
＞＞料金についてページへ

引用元：

産総研マガジン｜“マルチモーダルAI”とは？科学の目でみる、社会が注目する本当の理由

この記事を書いた人

著者株式会社SHIFT　マーケティンググループ

SHIFTは「売れるサービスづくり」を得意とし、お客様の事業成長を全力で支援します。無駄のないスマートな社会の実現に向けて、ITの総合ソリューションを提供する会社です。

サービスサイト：https://service.shiftinc.jp/
コーポレートサイト：https://www.shiftinc.jp/
X（旧Twitter）：https://twitter.com/SHIFT_cp

ご支援業種

製造、金融（銀行・証券・保険・決済）、情報・通信・メディア、流通・EC・運輸、ゲーム・エンターテイメント

など多数

前のページへ

次のページへ

コラム一覧に戻る