본문 바로가기

목록104

4-3-1(툴을 사용한 질문 응답) Langchain 비서 구축 3. 툴을 사용한 질문 응답1. 툴을 사용한 정보 검색Langchain에서는 다양한 도구를 사용할 수 있다. 아래 코드는 LangChain 라이브러리를 이용하여 특정 질문에 대한 답변을 생성하는데 이 과정에서 Duck Duck go 검색, Arxiv, Wikipedia을 활용하는 예제이다.%%time# from langchain.agents import AgentExecutor, AgentType, initialize_agent, load_toolsfrom langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler#위에서 선언하였음.# from langchain.llms import GPT4All# model = "E:\\GPT4.. 2024. 4. 23.
4-2-3(정보요약, 맵 리듀스 파이프라인) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 4. 맵 리듀스 파이프라인 Langchain은 맵 리듀스 접근방식을 지원한다. 긴 문서를 요약하기 위해 먼저 문서를 LLM의 토큰 컨텍스트 길이에 적합한 작은 부분(청크 chunk)으로 나눈 다음, 맵 리듀스 체인이 이러한 청크를 독립적으로 요약한 후 재결합할 수 있다. 이렇게 하면 어떤 길이로도 요약을 확장할 .. 2024. 4. 22.
4-2-2(정보요약, 프롬프트 템플릿, 밀도체인) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 2. 프롬프트 템플릿 동적 입력에 대해 프롬프트 템플릿은 미리 정의된 프롬프트에 텍스트를 삽입할 수 있게 하여 변수 길이 제한과 모듈식 프롬프트 디자인을 허용한다. 이를 LangChain 표현 언어 LCEL(LangChain Expression Language)에서 구현할 수 있다. from langchain.l.. 2024. 4. 22.
4-2-1(정보요약, 기본 프롬프팅) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 1. 기본 프롬프팅(데코레이터 사용하기) 몇 문장을 요약할 때는 기본 프롬프팅이 잘 작동한다. 원하는 길이를 지정하고 텍스트를 제공하면 된다. # text = "Pluto (minor-planet designation: 134340 Pluto) is a dwarf planet in the Kuiper belt, .. 2024. 4. 22.

티스토리툴바