본문으로 건너뛰기
ReviewRamble

주간 브리프

AI 리뷰를 받은편지함으로.

  • 도구, 모델, MCP 서버, 저장소의 새 리뷰(결론부터)
  • 변경이 있을 때 다시 확인한 가격과 평점
  • 새로 발행된 분석 글

모델, 에이전트, MCP 서버, 그리고 정말 시간을 들일 만한 도구.

일주일에 한 통입니다. 각 브리프의 링크로 구독을 해지할 수 있습니다. 이메일 사용 방식

데이터 준비

문서, 웹 페이지, 파일을 AI 시스템이 쓸 수 있는 형태로 바꾸는 과정입니다.

AI 크롤러
AI 크롤러(AI crawler)는 AI 회사가 운영하는 자동화된 봇으로, 학습 데이터를 모으거나, AI 검색 색인을 만들거나, 사용자가 어시스턴트에게 어떤 페이지에 대해 물을 때 그 페이지를 실시간으로 가져오기 위해 웹 페이지를 수집합니다.
AI용 웹 크롤링(Web crawling for AI)
AI용 웹 크롤링(web crawling for AI)은 링크나 URL 목록을 따라 웹 페이지를 자동으로 가져와, 모델 학습, 검색 인덱스 구축, 애플리케이션이 검색할 최신 콘텐츠 제공을 위한 텍스트를 모으는 것입니다.
llms.txt
llms.txt는 웹사이트가 보통 /llms.txt 경로에 Markdown 파일을 게시해, 사이트를 요약하고 가장 유용한 페이지로 가는 링크를 언어 모델이 읽기 쉬운 형태로 제공하자는 제안된 관례입니다.
광학 문자 인식(OCR)
광학 문자 인식(optical character recognition, OCR)은 스캔한 페이지, 사진, 스크린샷 같은 이미지에서 텍스트를 읽어, 검색하거나 복사하거나 모델에 넣을 수 있는 기계 판독 문자로 바꾸는 소프트웨어입니다.
레이아웃 분석
레이아웃 분석(layout analysis)은 문서 파싱의 한 부분으로, 페이지에서 제목, 문단, 표, 그림, 캡션, 바닥글 같은 영역을 찾아 각각에 레이블을 붙이고, 사람이 읽는 순서를 알아냅니다.
문서 파싱
문서 파싱(document parsing)은 PDF, 스캔본, 슬라이드, 스프레드시트 같은 파일을 소프트웨어가 쓸 수 있는 구조화된 텍스트로 바꾸는 작업입니다. 평평한 문자열이 아니라 제목, 읽는 순서, 표, 이미지를 유지합니다.
청킹
청킹(chunking)은 긴 문서를 임베딩하고 색인하기 전에 더 작은 구절로 나누는 단계로, 검색 시스템이 문서 가운데 질의에 답하는 부분만 찾아 돌려줄 수 있게 합니다.
표 추출(Table extraction)
표 추출(table extraction)은 문서에서 표를 찾아 그 행, 열, 머리글, 셀을 흩어진 텍스트 줄이 아니라 HTML, Markdown, CSV 같은 구조화된 데이터로 다시 만드는 작업입니다.