📚도서 공부/LangChain으로 구현하는 LLM15 4-2-3(정보요약, 맵 리듀스 파이프라인) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 4. 맵 리듀스 파이프라인 Langchain은 맵 리듀스 접근방식을 지원한다. 긴 문서를 요약하기 위해 먼저 문서를 LLM의 토큰 컨텍스트 길이에 적합한 작은 부분(청크 chunk)으로 나눈 다음, 맵 리듀스 체인이 이러한 청크를 독립적으로 요약한 후 재결합할 수 있다. 이렇게 하면 어떤 길이로도 요약을 확장할 .. 2024. 4. 22. 4-2-2(정보요약, 프롬프트 템플릿, 밀도체인) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 2. 프롬프트 템플릿 동적 입력에 대해 프롬프트 템플릿은 미리 정의된 프롬프트에 텍스트를 삽입할 수 있게 하여 변수 길이 제한과 모듈식 프롬프트 디자인을 허용한다. 이를 LangChain 표현 언어 LCEL(LangChain Expression Language)에서 구현할 수 있다. from langchain.l.. 2024. 4. 22. 4-2-1(정보요약, 기본 프롬프팅) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 1. 기본 프롬프팅(데코레이터 사용하기) 몇 문장을 요약할 때는 기본 프롬프팅이 잘 작동한다. 원하는 길이를 지정하고 텍스트를 제공하면 된다. # text = "Pluto (minor-planet designation: 134340 Pluto) is a dwarf planet in the Kuiper belt, .. 2024. 4. 22. 4-1(자동 팩트 체크) Langchain 비서 구축 LLM의 환각은 생성된 텍스트가 입력과 비교했을 때 충실하지 않거나 무의미한 것을 나타낸다. 환각에 대처하는 한 가지 기술은 자동 팩트 체크이다. 이는 LLM이 외부 소스의 증거에 대해 제시한 증거를 확인하는 것이다. 이를 통해 부정확하거나 검증되지 않는 진술을 감지할 수 있다. 사실 확인은 주로 세 단계로 이루어진다. 주장 감지: 검증이 필요한 부분 식별 증거 검색: 주장을 지지하거나 반박하는 소스 찾기 판결 예측(verdic prediction): 증거를 기반으로 주장의 진위 평가 마지막 두 단계는 정당성 생성(justification production)과 판결 예측이라는 용어로도 부른다. 사전 훈련된 LLM에는 프롬프트를 통해 얻을 수 있는 광범위한 세계 지식이 포함되어 있다. 지식 베이스, 위키.. 2024. 4. 19. 이전 1 2 3 4 다음