本文へスキップ
ReviewRamble

週刊ブリーフ

AIのレビューを、あなたの受信箱に。

  • ツール、モデル、MCPサーバー、リポジトリの新しいレビュー(結論を最初に)
  • 変更があったときに再確認した価格と評価
  • 公開された新しい分析記事

モデル、エージェント、MCPサーバー、そして本当に時間をかける価値のあるツール。

週に1通です。配信停止は各メールのリンクからできます。 メールアドレスの利用について

データの準備

文書、Webページ、ファイルをAIシステムが使える形にする工程です。

AI クローラー
AI クローラー(AI crawler)とは、AI 企業が運用する自動化されたボットです。ウェブページを取得して、学習データを集めたり、AI 検索のインデックスを作ったり、ユーザーがアシスタントにページについて尋ねたときにその場でページを取り出したりします。
AIのためのWebクローリング
AIのためのWebクローリング(web crawling)とは、リンクやURLのリストをたどってWebページを自動的に取得し、モデルの学習、検索インデックスの構築、アプリケーションが検索する新しいコンテンツの提供のためにテキストを集めることです。
llms.txt
llms.txtとは、Webサイトが通常/llms.txtにMarkdownファイルを公開し、サイトの概要と最も役立つページへのリンクを言語モデルが読みやすい形で示すという、提案段階の慣行です。
チャンキング
チャンキング(chunking)とは、長い文書を埋め込みとインデックス化の前に小さな文章のまとまりに分割する手順です。検索システムは、文書のうちクエリに答える部分だけを見つけて返せるようになります。
レイアウト解析
レイアウト解析(layout analysis)とは文書解析の一部で、タイトル、段落、表、図、キャプション、フッターなど、ページ上の領域を見つけてそれぞれにラベルを付け、人が読む順序を割り出す処理です。
光学文字認識(OCR)
光学文字認識(OCR)とは、スキャンしたページ、写真、スクリーンショットなどの画像からテキストを読み取り、検索、コピー、モデルへの入力ができる機械可読の文字に変換するソフトウェアです。
文書解析
文書解析(document parsing)とは、PDF、スキャン画像、スライド、スプレッドシートなどのファイルを、ソフトウェアで使える構造化されたテキストに変換することです。単なる文字の羅列ではなく、見出し、読む順序、表、画像を保ちます。
表抽出
表抽出(table extraction)とは、文書の中から表を見つけ、その行、列、見出し、セルを、ばらばらのテキストの行ではなく、HTML、Markdown、CSVなどの構造化データとして再構築するタスクです。