生成AIにおけるトークンとは？仕組みや効率的な活用のポイントを解説

まずはAIの分野におけるトークン、トークン化とは何かについて解説します。

AIがテキストを解析、生成する際には文章を細かくパーツにわけますが、このパーツの一つひとつがトークンです。つまり、トークンとはAIが文章を扱う際にモデルが内部で扱う単位のことです。

たとえば、「私はAIを使います。」という文章は、「私」「は」「AI」「を」「使い」「ます」「。」とわけることができます。

このように文章をトークンにわけることを「トークン化」といい、上記の文章は7つのトークンにわけられたためトークン数は7になります。（厳密には言語によってトークン数が変動するため、あくまで参考数字となります）

人間は文字や単語、構成を見て文章を理解しますが、AIモデルはトークン化により細かく分割された状態で文章を解析するのです。

トークン化の方法はいくつかの種類があり、言語や扱う生成AIモデルの性能、特徴などによって適したトークン化の方法が異なります。たとえば、上記の文章を「私」「は」「A」「I」「を」「使」「い」「ま」「す」「。」と１文字ごとに分割する方法もあります。

一般的に生成AIサービスの利用料金は入力するテキストのトークン数で決まり、サービスごとに入力できる最大トークン数が設定されていることが多いです。そのため、生成AIを利用する際には、トークン数やトークン化の方法について理解しておくと役立つでしょう。

次に、トークン化の簡単な仕組みと、トークン化手法の種類についてご説明します。

すでにご説明したとおり、AIがテキストを解析、生成するためには、テキストを細かく分割しトークン化する必要があります。

テキストを細かく分割することで、AIが文章の意味や構造を効率よく解析することが可能になります。トークン化された文章をきめ細かく解析することで、文章のパターンや感情、大事な情報を識別していきます。

テキストを生成する際には、一連のトークンの次に出現するトークンは何かを予測しながら文章を生成します。文章のまとまり、段落が完成するまでトークンを追加していくことで、文脈に沿ったテキストを生成できます。

トークン化の手法にはいくつかの種類があります。未知の単語が多く含まれるテキストを扱うのか、それとも、高度な言語解析が必要とされるのかなど、状況に応じて適した手法を選ぶ必要があります。

ここでは、基本的なトークン化手法の種類とそれぞれの適した状況について解説します。

・単語トークン化
文章を単語ごとに分割する方法です。たとえば、「私」「は」「AI」「を」「使い」「ます」「。」などと分割します。

人間が言語を認識する感覚に近く、シンプルでわかりやすいトークン化の手法です。また、出現する単語の頻度や関係を分析する際に役立つ方法でもあります。

・文字トークン化
文字ベースでトークン化する方法で、空白や句読点なども含み一つひとつの文字に分解します。具体的には、「私」「は」「A」「I」「を」「使」「い」「ま」「す」「。」などと1文字ずつにわけられます。

この方法では文字単位で詳しく解析できるため、未知の単語を扱う場合や音声認識、スペルチェックなどを行う場合に効果を発揮します。一方で、トークン数が膨大になるためAIモデルによる処理の負荷が高くなるという問題があります。また、文字単位に分割することで意味や文脈を把握しにくいため、高度な言語理解がむずかしい場合もあります。

・サブワードトークン化
上記でご説明した「単語トークン化」と「文字トークン化」の中間に位置する手法で、二つの手法のいいところをバランスよく採用します。たとえば、頻出する単語はそのままトークン化し、未知の単語はさらに分解するなど、状況に応じて柔軟に分割します。サブワードトークン化を採用すると、未知の単語に対応しつつもトークン数を抑えることが可能です。

この手法には処理効率の向上と応答の質の向上を両立できるというバランスのよさが備わっており、GPT、GeminiなどのAIモデルでも採用されています。

・文トークン化
テキストを文ごとに分割する手法です。文単位でテキストを解析するため、文の構造、意味を重視する場合に適しています。テキストの全体的な意味を把握することが得意なため、テキストの感情分析、要約の生成などに向いています。

テキストのトークン数を計算する際には、以下のようなOpenAI公式AIサービスのトークナイザーを使うのがよいでしょう。
トークンを計算したいテキストデータを入力するだけで、簡単にトークン数を割り出せます。

上記でご説明したとおり、日本語と英語ではトークン化の方法が異なるため、トークン換算率も異なります。

一般的に、英語の1単語の平均トークン数は1.3トークンで、よく使われる単語は1トークンで処理されることが多いです。たとえば、「AI」は1トークンですが、「generative AI（生成AI）」は「gener」「ative」「AI」とわけられ3トークンになります。一方、日本語の場合は1文字あたり2トークンが平均的で、漢字はさらに多くのトークンを消費します。英語よりも日本語の方が多くのトークンを消費することがわかります。

このように、言語が変わるとトークン換算率も異なることを知っておくのは非常に重要です。

トークン数はAIモデルのコストや処理量に大きく影響するため、AIサービス利用時にはトークン数を常に意識しておく必要があります。

生成AIサービスの料金は「1M（1,000,000）トークンごとに〇ドル」などと設定されていることが多く、トークン数が増えるとそれだけコストがかかります。そのため、トークン数が少なくなるようにテキストを構成すれば、コストを節約することが可能です。

たとえば、「～でございます。」という敬語を使った文章を「～です。」と簡略化する、文章の構成を見直して短くするなどの工夫をすれば、トークンを節約できるでしょう。

また、AIモデルには「コンテキストウィンドウ」という「一度に処理できるトークン数の上限」が設定されています。上限を超えるとAIモデルは古い情報を忘れていくため、長い文章や複雑な文章を扱う場合には注意が必要です。入力するテキストデータのトークン数がコンテキストウィンドウを超えないようにする、といった工夫が必要になります。

このように、トークン数を意識することで、生成AIサービスを効率良く利用できるでしょう。

生成AIサービスを効率良く活用するためには適切なトークン化が必要ですが、どのような点に注意すればよいのでしょうか？

ここでは、生成AIサービスを利用する際にトークン効率を高めるために最適化すべき重要な要素についてご説明します。

生成AIに入力するプロンプトを最適化することで、トークン効率を高められます。プロンプトの表現が冗長で不要な情報が含まれているとその分トークン数が増え、AIモデルに無駄な処理をさせてしまうことになります。繰り返しや冗長な表現をできるだけ避け、簡潔な表現のプロンプトを作成するのが望ましいでしょう。

かといってプロンプトに必要な情報が足らないと、求める結果は得られません。その場合、繰り返しプロンプトを入力して応答を繰り返すことになり、かえって消費するトークン数が増えてしまいます。たとえば、「〇〇研修についてレポートを作成して」というプロンプトを入力しても、求めるレポートを得ることはむずかしいでしょう。

・対象：経営層向け

・目的：〇〇研修の必要性を説明する

・文字数：〇〇字

などと重要なポイントを指定することで、求める結果を効率良く得られます。

選択する言語やデータフォーマットを最適化することでも、トークン効率を高めることができます。

すでにご説明したとおり、日本語よりも英語の方がトークン効率がよくなる傾向があります。そのため、言語を選択できるなら英語を使用する方がコストを削減できるでしょう。

また、テキストデータをそのまま入力するよりも、CSV形式などの構造化されたデータにすることでもトークン効率が上がります。たとえば、「名前は〇〇、年齢は〇〇歳、職業はエンジニア」という情報を、{“name”:”〇〇”, “age”:〇〇, “job”:”engineer”}と扱うと、トークン効率の向上が見込めます。

ほかにも、長文で説明するのではなく見出しや箇条書きなどの方法で情報を整理する、表形式にまとめるなどの最適化の方法もあります。

採用するAIモデルを目的にあわせてファインチューニング（調整）することで、トークン効率を向上させることができます。ファインチューニングを行うことで短いプロンプトでも高品質な出力結果を得ることも可能になり、トークン数の削減につながるでしょう。

また、タスクの難易度によって最適なモデルを選択することも効率化につながります。モデルによって1トークンあたりの単価が異なるため、たとえば単純なタスクの場合は小規模なモデルを、複雑で難易度の高いタスクのみ高性能モデルを使用するなどが考えられます。すべての作業を高性能なモデルで行うとコストがかかりますが、タスクの難易度に応じて軽量モデルと高性能モデルを使い分けることは非常に有効です。

本記事では、トークンとはどのようなものなのか、トークンの種類やトークン化効率向上のポイントなどについて解説しました。

AIがテキストを解析、生成する際には文章を細かくパーツにわけますが、このパーツの一つひとつがトークンと呼ばれるものです。トークン数が多いほどAIモデルの処理量が増加するため、効率良くAIを活用するためにはトークン化の効率を向上させる必要があります。

ビジネスにおいて生成AIを活用するシーンが増えるなか、いかにAIを効率良く使うかが課題になっていくでしょう。AIを利用する際には、トークン数を考慮しトークン化効率を向上させ、目的にあったAIモデルを選択するなどの工夫が必要です。

ビジネスに最新のAI技術を活用したい場合は、SHIFT のAIに関する豊富な専門知識をお役立てください。