本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

モデルとその仕組み

言語モデルなどのAIモデルとは何か、どう作られ、どう規模が表されるか、そしてそれを説明する用語です。

GGUF
GGUF は、モデルの重み、トークナイザー、メタデータを 1 つのファイルに保存するバイナリのファイル形式です。llama.cpp などの GGML ベースのツールでの高速な読み込みとローカル推論のために作られており、量子化された形で使われることが多くあります。
Mixture of experts(MoE)
Mixture of experts(MoE、混合エキスパート)とは、各層に複数のエキスパートと呼ばれるサブネットワークを持ち、ルーターが各トークンをそのうち少数だけに送るモデル設計です。トークンごとにモデルの一部だけが動きます。
ONNX
ONNX(Open Neural Network Exchange)とは、機械学習モデルのためのオープンなファイル形式です。モデルを標準的な演算子のグラフとして記述するため、あるフレームワークで学習し、別の環境で実行できます。
Safetensors
Safetensorsとは、Hugging Faceによるモデルの重みを保存するためのファイル形式です。Pythonのpickleファイルと異なり、読み込み時に隠れたコードが実行されることはなく、個々のテンソルをメモリマップで高速に読み込めます。
Test-time compute(推論時の計算)
Test-time compute(推論時の計算)とは、モデルが学習中ではなく、リクエストに答える間に使う計算量のことです。モデルに長く考えさせたり、複数の回答を試させたりすると、難しい問題で結果が良くなることがあります。
Transformer(アーキテクチャ)
Transformerとは、2017年に発表された、再帰の代わりにattentionを使って系列を処理するニューラルネットワークのアーキテクチャです。現在のほぼすべての大規模言語モデルと、多くの画像や音声のモデルの基盤になっています。
Weight-Space Programming(重み空間プログラミング)
Weight-Space Programming(重み空間プログラミング)は、言語モデルがニューラルネットワークの重みを読んで何を計算しているかを理解し、勾配による学習なしにその重みを直接書いたり編集したりする、提案段階の能力です。プログラマーがコードを編集するのに似ています。
アテンション機構
アテンション機構(attention mechanism)とは、ニューラルネットワークが処理する各トークンについて、入力内のほかのすべてのトークンにどれだけの重みを与えるかを決める仕組みです。セルフアテンションは transformer の中核となる演算です。
インストラクトモデル
インストラクトモデル(instruct model)とは、ベースの言語モデルを、指示とよい回答の組み合わせ、多くの場合は人のフィードバックでもさらに学習させたモデルです。テキストの続きを書くだけでなく、依頼に従います。
オープンウェイトモデル
オープンウェイトモデル(open-weight model)とは、学習済みの重みが公開され、誰でもダウンロードして実行できるモデルです。学習コードや学習データ全体は含まれないことが多く、必ずしもオープンソースではありません。
オープンソースAI
オープンソースAIとは、誰でも使用、研究、変更、共有できる条件で公開され、変更に必要な要素、つまり学習データに関する情報、完全なコード、モデルのパラメータにアクセスできるAIシステムです。
コンテキストウィンドウ
コンテキストウィンドウ(context window)とは、言語モデルが一度に考慮できるテキストの最大量で、トークン数で数えます。システムプロンプト、会話、文書、ツールの結果、モデルが書く応答が含まれます。
トークナイザー
トークナイザー(tokenizer)とは、テキストをトークンに分割し、言語モデルが処理できる数値のIDに変換し、モデルが出力したIDをテキストに戻す構成要素です。
トークン(LLM)
トークン(LLM)とは、言語モデルが読み書きするテキストの基本単位で、多くの場合、単語、単語の一部、句読点、またはバイトです。料金、速度、コンテキストの上限はすべてトークンで数えます。
ナレッジカットオフ
ナレッジカットオフ(knowledge cutoff)とは、モデルが情報をほとんど、またはまったく持たなくなる境目の日付です。学習データがおおよそその時点までに集められたためです。それ以降の出来事は、プロンプトで与えない限りわかりません。
ハルシネーション(AI)
ハルシネーション(hallucination)とは、流暢で自信ありげに聞こえるものの、誤っている、情報源に裏付けられていない、あるいは作り話である AI モデルの出力です。架空の引用文献、発言、統計、API の関数などがその例です。
ビジョン言語モデル(VLM)
ビジョン言語モデル(vision-language model、VLM)とは、画像とテキストを入力として受け取り、テキストを生成するモデルです。画像を説明し、画像についての質問に答え、文書を読み、スクリーンショットからデータを抽出できます。
フロンティアモデル
フロンティアモデル(frontier model)とは、その時点で利用できる最も高性能な汎用 AI モデルの 1 つで、通常は資金力のある開発企業が作ったものです。相対的な言葉であり、AI 安全性の政策でも使われます。
ベースモデル
ベースモデル(base model)とは、指示チューニングや人のフィードバックによる学習を受ける前の、事前学習を終えたばかりの言語モデルです。指示に従ったり会話をしたりするのではなく、与えられたテキストの続きを書きます。
マルチモーダルモデル
マルチモーダルモデルとは、テキスト、画像、音声、動画など複数の種類のデータを、別々のシステムではなく1つのモデルの中で受け取り、場合によっては生成できるAIモデルです。
モデルのパラメータ
モデルのパラメータとは、ニューラルネットワークが学習で獲得する数値で、そのほとんどは重みです。パラメータ数は70億なら7Bのように書かれ、モデルの規模を表す一般的な略記です。
モデルの重み
モデルの重み(model weights)とは、ニューラルネットワーク内部の学習済みの数値で、学習中に決まり、入力を出力に変える方法を決定します。チェックポイントとは、その重みを含む保存済みのファイルまたはファイル群です。
モデルライセンス
モデルライセンスとは、モデルの重み、場合によってはコードやデータを、どのように使用、変更、共有してよいかを定めた法的な条件です。条件は、寛容なオープンライセンスから、非商用や独自の制限付きのものまでさまざまです。
世界モデル
世界モデル(world model)とは、多くの場合は動画やセンサーのデータから、環境の仕組みを次に何が起こるか予測できるほどに学習したAIモデルです。エージェントはそのシミュレーションの中で計画を立てたり学習したりできます。
事前学習
事前学習(pretraining)とは、モデルの学習の最初で最大の段階で、タスク固有の調整を行う前に、ラベルのない非常に大きなデータセットから、通常は次のトークンを予測することで一般的なパターンを学ぶことです。
基盤モデル
基盤モデル(foundation model)とは、幅広いデータで大規模に学習した大きなモデルで、1 つのタスクのために作られるのではなく、プロンプトやファインチューニングによってさまざまな下流のタスクに適応させられるものです。
大規模言語モデル
大規模言語モデル(large language model、LLM)とは、数十億のパラメーターを持ち、大量のテキストで次のトークンを予測するよう学習したニューラルネットワークです。これにより、文章を書く、質問に答える、要約する、指示に従うといったことができます。
小規模言語モデル(SLM)
小規模言語モデル(small language model、SLM)とは、パラメータが比較的少なく、通常は数十億以下の言語モデルで、ノートPC、スマートフォン、1枚のGPUで、大規模なモデルより低いコストで動くように作られています。
拡散言語モデル
拡散言語モデル(diffusion language model、dLLM)とは、1 トークンずつ書くのではなく、完全にマスクされた系列やノイズを含む系列から始め、何段階かかけて多くのトークン位置を並列に洗練させることでテキストを生成するモデルです。
推論モデル
推論モデル(reasoning model)とは、最終的な答えを出す前に、中間的な思考のトークンを連ねて問題に取り組むよう学習された言語モデルです。数学、コーディング、複数ステップのタスクで役立つ傾向があります。
状態空間モデル(SSM)
状態空間モデル(state space model、SSM)とは、各トークンを読みながら固定サイズの隠れ状態を引き継いでいく系列モデルで、コストは入力の長さに比例して線形に増えます。最もよく知られた例はMambaです。
知識蒸留
知識蒸留(knowledge distillation)とは、小さな生徒モデルに大きな教師モデルの出力をまねさせる学習方法です。教師の能力の多くを低いコストで保った蒸留モデルができます。
自己回帰モデル
自己回帰モデル(autoregressive model)とは、系列を 1 つずつ生成するモデルです。それまでのすべてのトークンから次のトークンを予測し、その出力を入力に戻します。ほとんどの大規模言語モデルはこの方式で動いています。
量子化
量子化(quantization)とは、モデルの重み、場合によっては活性化を、16ではなく8や4など少ないビット数で保存する技術です。モデルに必要なメモリが減り、多くの場合は速く動きますが、精度は多少犠牲になります。