랭체인 기초2 5-3(챗봇이란?, 문서 로더 구현) 챗봇 만들기 라. 챗봇 구현-1 문서 로더 설정간단한 챗봇을 LangChain에서 아래의 레시피에 따라 만들어 보자.문서 로더 설정문서를 벡터 저장소에 저장벡터 저장소에서 정보를 검색하는 챗봇 설정이를 여러 형식으로 일반화하고 Streamlit을 통한 웹 브라우저 인터페이스를 통해 사용 가능하게 만들어 볼 것이다. 문서를 끌어다 놓고 질문을 시작할 수도 있게 해보자. 문서 로더부터 시작하자.1. 문서 로드import loggingimport pathlibfrom typing import Anyfrom langchain.schema import Documentfrom langchain.document_loaders import PyPDFLoader, TextLoader, UnstructuredWordDocumentLo.. 2024. 5. 15. 5-3(챗봇이란?, 로딩 및 검색) 챗봇 만들기 다. LangChain에서의 로딩 및 검색LangChain은 검색 시스템을 구축하기 위한 여러 구성 요소의 도구 체인을 구현한다.먼저 데이터 로더를 통해 문서를 로드한다 → 문서를 변환하고 임베딩으로 사용할 수 있도록 벡터 저장소에 전달 → 벡터 저장소와 관련된 검색기(retriever)를 쿼리1) 문서 로더문서 로더는 데이터를 소스에서 document 객체러 로드하는데 사용된다. Document 객체는 텍스트와 관련된 메타데이터로 구성된다.txt 파일을 로드하는 TextLoader, 웹 페이지 텍스트를 로드하는 WebBaseLoader, Arxiv에서 기사를 로드하는 ArxivLoader, 유튜브 대본을 로드하는 YoutubeLoader 등이 있다. 웹 페이지의 경우 Diffbot 통합을 사용하면 내용.. 2024. 5. 11. 이전 1 다음