実行とデプロイ
モデルのファインチューニング、提供、ホスティングと、ハードウェアや料金に関する用語の意味です。
- 1秒あたりのトークン数
- 1秒あたりのトークン数(tokens per second、tok/s)とは、言語モデルが出力を生成する速さを測る指標です。1つの応答がストリーミングされる速さであるユーザーごとの値か、同時に処理するすべてのリクエストの合計出力であるシステム全体の値で示されます。
- AI 学習データ
- AI 学習データ(AI training data)とは、ウェブのテキスト、コード、画像、書き起こし、ラベル付きのペアなど、モデルが学習に使う例の集まりです。その規模、品質、構成、ライセンスによって、モデルにできることと失敗する場面が決まります。
- API キー
- API キー(API key)とは、アプリケーションがリクエストごとに送る秘密の文字列です。サービスはこれで呼び出し元のアカウントを判別し、上限を適用し、料金を請求します。キーを持っている人は、通常誰でもそれを使えます。
- Batch API
- Batch API とは、大量のモデルへのリクエストを 1 つのジョブとして送信し、呼び出しごとに待つのではなく、後でまとめて結果を受け取れる API です。提供元は余裕があるときにジョブを実行し、通常は料金を安くしています。
- Continuous batching
- Continuous batching(連続バッチ処理)とは、バッチ全体の完了を待つのではなく、生成の各ステップの後に、実行中の GPU のバッチへ新しいリクエストを加え、終わったリクエストを取り除くモデルサービングの技術です。GPU を休ませず、スループットを上げます。
- CPU オフロード
- CPU オフロード(CPU offloading)とは、GPU メモリに収まらないモデルを、一部の層をシステムの RAM やディスクに置き、残りを GPU で処理することで動かす方法です。モデルは動きますが、遅くなります。
- GPU
- GPU(graphics processing unit)は、多数の計算を並列に実行するために作られた、小さなコアを数多く持つプロセッサーです。行列演算が速いため、AI モデルの学習と実行の標準的なハードウェアになっています。
- GPU クラウド
- GPU クラウド(GPU cloud)とは、AI の学習、ファインチューニング、推論のために GPU マシンを時間単位や秒単位で貸し出すサービスです。neocloud と呼ばれることもある専門の事業者は GPU に特化しており、大手の汎用クラウドより安いことがよくあります。
- KV キャッシュ
- KV キャッシュ(KV cache)とは、transformer が前のトークンについてすでに計算したアテンションのキーとバリューを保存しておくものです。新しいトークンごとに必要な計算はそのトークン自身の分だけになります。生成を速くしますが、コンテキストの長さに応じて増える GPU メモリを消費します。
- LoRA
- LoRA(low-rank adaptation、低ランク適応)とは、モデルの元の重みを固定し、各層に追加した小さな低ランク行列を学習させるファインチューニング手法です。変更されるパラメータがはるかに少なく、必要なGPUメモリも大幅に減ります。
- NPU
- NPU(neural processing unit)とは、ニューラルネットワークの計算を高速かつ低消費電力で実行するために作られたチップ、または大きなチップ内のブロックです。スマートフォンやノートPCは、NPUを使って小さなAIモデルをデバイス上で動かします。
- OpenAI互換API
- OpenAI互換API(OpenAI-compatible API)とは、ほかのプロバイダーやツールが提供するエンドポイントのうち、OpenAIのAPIと同じリクエストとレスポンスの形式を受け付けるものです。OpenAI向けに書いたコードは、ベースURL、キー、モデル名を変えるだけで切り替えられます。
- PagedAttention
- PagedAttentionとは、言語モデルのKV cacheを、OSのページのように、GPUメモリ上で隣り合っている必要のない小さな固定サイズのブロックに格納する手法です。無駄なメモリを減らし、サーバーが同時に処理できるリクエストを増やします。
- RLHF
- RLHF(reinforcement learning from human feedback、人間のフィードバックによる強化学習)とは、言語モデルの回答を人が順位付けしたものを使ってモデルをファインチューニングする手法です。報酬モデルがその選好を学習し、強化学習によってスコアの高い回答に向けてモデルを調整します。
- Time to first token(TTFT)
- Time to first token(TTFT、最初のトークンまでの時間)とは、ユーザーが言語モデルにリクエストを送ってから応答の最初のトークンを受け取るまでの待ち時間で、キューでの待ち、プロンプトの処理、ネットワークの時間を含みます。
- TPU
- TPU(tensor processing unit)とは、Googleが機械学習のために作った独自のチップで、大きな行列積ユニットと広帯域メモリを中心に構成されています。GoogleはTPUを、Google Cloud上のレンタルサービスとして他社に提供しています。
- VRAM
- VRAMとは、グラフィックスカード上のメモリです。AIの作業ではモデルの重み、KV cache、作業用のデータを保持し、モデルがVRAMに収まるかどうかで、通常それを動かすのに必要なGPUが決まります。
- サーバーレスGPU
- サーバーレスGPU(serverless GPU)とは、コードやモデルをデプロイすると、リクエストが届いたときだけプラットフォームがGPUワーカーを起動するクラウドの方式です。動いた時間だけ課金され、アイドル時にはゼロまで縮小します。
- ストリーミング(LLMの出力)
- ストリーミング(streaming)とは、完全な応答を待たずに、トークンが生成されるそばからLLMの出力を少しずつクライアントに送ることです。完全な回答にはずっと長くかかる場合でも、ユーザーにはすぐにテキストが表示されます。
- セマンティックキャッシュ
- セマンティックキャッシュ(semantic cache)とは、過去のLLMの応答を保存し、新しいリクエストが以前のものとほぼ同じ意味であれば、テキストの完全一致ではなく埋め込みの類似度で判断してその応答を返す仕組みです。繰り返される質問でコストとレイテンシを節約します。
- セルフホスティング(AIモデル)
- AIモデルのセルフホスティング(self-hosting)とは、プロバイダーのAPIを呼び出す代わりに、自社のサーバー、レンタルしたGPU、ノートPCなど、自分が管理するハードウェアでモデルを動かすことです。モデルを選び、データを手元に置けますが、インフラは自分で運用します。
- テンソル並列
- テンソル並列(tensor parallelism)とは、ニューラルネットワークの各層を複数のGPUに分割し、すべてのGPUが各重み行列の一部を持ち、毎ステップの自分の担当分を計算する方法です。1枚のGPUには大きすぎるモデルを、多数のGPUにまたがって動かせます。
- トークン料金
- トークン料金(token pricing)とは、ほとんどのAIモデルのAPIが採用している課金方法です。送る入力トークン100万あたりの定額料金と、モデルが生成する出力トークン100万あたりの、通常はより高い別の料金があり、キャッシュされた入力やバッチジョブには割引があります。
- パラメータ効率の良いファインチューニング(PEFT)
- パラメータ効率の良いファインチューニング(parameter-efficient fine-tuning、PEFT)とは、事前学習済みモデルのうち、新しく加えた、または選んだ少数のパラメータだけを学習させ、残りを固定したまま適応させる手法です。完全なファインチューニングに必要なメモリ、計算、ストレージを削減します。
- ファインチューニング
- ファインチューニング(fine-tuning)とは、事前学習済みのモデルを、より小さなタスク特化のデータセットでさらに学習させることです。一から学習させることなく、モデルに特定の技能、形式、口調、分野を身につけさせます。
- プロンプトキャッシュ
- プロンプトキャッシュ(prompt caching)とは、長いシステムプロンプトや文書など、繰り返し使われるプロンプトの先頭部分を処理済みの形で保存するAPIの機能です。同じ先頭部分で始まる後続のリクエストが安く、速くなります。
- モデルサービング
- モデルサービング(model serving)とは、学習済みのモデルを、アプリケーションがネットワーク経由で呼び出すサービスとして動かすことです。重みをGPUに読み込み、リクエストをキューに入れてバッチ処理し、メモリを管理して結果を返すソフトウェアを使います。
- モデルフォールバック
- モデルフォールバック(model fallback)とは、第一候補のモデルが失敗した、タイムアウトし た、レート制限に達した、入力を拒否したといった場合に、リクエストを予備のモデルや提供元に送るルールです。障害が起きても AI 機能を動かし続けられます。
- ユニファイドメモリ
- ユニファイドメモリ(unified memory)とは、CPUとGPUがそれぞれ専用のメモリを持つのではなく、1つのメモリのプールを共有する設計です。Apple SiliconのMacや同様のチップでは、ローカルのAIモデルがシステムRAMの大部分をGPUメモリとして使えます。
- レート制限(API)
- レート制限(rate limit)とは、アカウントが一定時間内にAPIをどれだけ使えるかの上限で、通常は1分あたりのリクエスト数(RPM)と1分あたりのトークン数(TPM)で示されます。上限を超えたリクエストは拒否され、通常はHTTP 429エラーが返ります。
- ローカルLLM
- ローカルLLMとは、プロバイダーのクラウドAPIではなく、自分のコンピューター、スマートフォン、サーバー上で動かす言語モデルのことです。プロンプトとデータが自分のハードウェアにとどまり、インターネット接続なしでも動作します。
- 合成データ
- 合成データ(synthetic data)とは、現実の情報源から集めるのではなく、ソフトウェア、多くの場合は別のAIモデルによって生成された学習用またはテスト用のデータです。不足を埋める、例を安く追加する、実際の個人データの露出を避けるといった目的で使われます。
- 報酬モデル
- 報酬モデル(reward model)とは、人間の選好データで学習し、応答がどれだけ良いかを採点する別個のモデルです。その後、強化学習がそのスコアを使って、人が好む回答に向けて言語モデルを調整します。
- 投機的デコーディング
- 投機的デコーディング(speculative decoding)とは、小さく速いドラフトモデルに複数のトークンを提案させ、大きなモデルが1回のパスでそれを確認して受け入れたものを残すことで、テキスト生成を高速化する手法です。出力は大きなモデルだけで生成した場合と一致します。
- 推論
- 推論(inference)とは、学習済みのモデルを動かし、新しい入力から出力を生み出すことです。LLM がプロンプトへの返答を生成するのがその例です。学習とは対照的に、ユーザーがモデルを呼び出すたびに料金を払う段階です。
- 推論プロバイダー
- 推論プロバイダー(inference provider)とは、自社のハードウェアで AI モデルを動かし、通常はトークン単位の課金で API を通じて利用権を販売する企業です。自分で GPU を管理することなく、プロンプトを送って出力を受け取れます。
- 教師ありファインチューニング(SFT)
- 教師ありファインチューニング(supervised fine-tuning、SFT)とは、事前学習済みのモデルを、プロンプトの例と望ましい応答のペアでさらに学習させることです。ベースモデルを指示に従うモデルに変える、通常の最初のステップです。
- 数値精度(FP16、BF16、FP8)
- 数値精度とは、モデルの重みを保存し計算を行うための数値形式で、FP32、FP16、BF16、FP8、INT4などがあります。数値あたりのビット数が少ないほどメモリが減り推論が速くなりますが、精度が落ちるおそれがあります。
- 直接選好最適化(DPO)
- 直接選好最適化(direct preference optimization、DPO)とは、報酬モデルと強化学習の代わりに、分類のような単純な損失関数を使い、好まれた回答と退けられた回答のペアで直接学習させて、言語モデルを人の選好に合わせる方法です。