データの準備
文書、Webページ、ファイルをAIシステムが使える形にする工程です。
- AI クローラー
- AI クローラー(AI crawler)とは、AI 企業が運用する自動化されたボットです。ウェブページを取得して、学習データを集めたり、AI 検索のイン デックスを作ったり、ユーザーがアシスタントにページについて尋ねたときにその場でページを取り出したりします。
- AIのためのWebクローリング
- AIのためのWebクローリング(web crawling)とは、リンクやURLのリストをたどってWebページを自動的に取得し、モデルの学習、検索インデックスの構築、アプリケーションが検索する新しいコンテンツの提供のためにテキストを集めることです。
- llms.txt
- llms.txtとは、Webサイトが通常/llms.txtにMarkdownファイルを公開し、サイトの概要と最も役立つページへのリンクを言語モデルが読みやすい形で示すという、提案段階の慣行です。
- チャンキング
- チャンキング(chunking)とは、長い文書を埋め込みとインデックス化の前に小さな文章のまとまりに分割する手順です。検索システムは、文書のうちクエリに答える部分だけを見つけて返せるようになります。
- レイアウト解析
- レイアウト解析(layout analysis)とは文書解析の一部で、タイトル、段落、表、図、キャプション、フッターなど、ページ上の領域を見つけてそれぞれにラベルを付け、人が読む順序を割り出す処理です。
- 光学文字認識(OCR)
- 光学文字認識(OCR)とは、スキャンしたページ、写真、スクリーンショットなどの画像からテキストを読み取り、検索、コピー、モデルへの入力ができる機械可読の文字に変換するソフトウェアです。
- 文書解析
- 文書解析(document parsing)とは、PDF、スキャン画像、スライド、スプレッドシートなどのファイルを、ソフトウェアで使える構造化されたテキストに変換することです。単なる文字の羅列ではなく、見出し、読む順序、表、画像を保ちます。
- 表抽出
- 表抽出(table extraction)とは、文書の中から表を見つけ、その行、列、見出し、セルを、ばらばらのテキストの行ではなく、HTML、Markdown、CSVなどの構造化データとして再構築するタスクです。