문서 로더1 5-3(챗봇이란?, 로딩 및 검색) 챗봇 만들기 다. LangChain에서의 로딩 및 검색LangChain은 검색 시스템을 구축하기 위한 여러 구성 요소의 도구 체인을 구현한다.먼저 데이터 로더를 통해 문서를 로드한다 → 문서를 변환하고 임베딩으로 사용할 수 있도록 벡터 저장소에 전달 → 벡터 저장소와 관련된 검색기(retriever)를 쿼리1) 문서 로더문서 로더는 데이터를 소스에서 document 객체러 로드하는데 사용된다. Document 객체는 텍스트와 관련된 메타데이터로 구성된다.txt 파일을 로드하는 TextLoader, 웹 페이지 텍스트를 로드하는 WebBaseLoader, Arxiv에서 기사를 로드하는 ArxivLoader, 유튜브 대본을 로드하는 YoutubeLoader 등이 있다. 웹 페이지의 경우 Diffbot 통합을 사용하면 내용.. 2024. 5. 11. 이전 1 다음