GPT4ALL5 4-3-1(툴을 사용한 질문 응답) Langchain 비서 구축 3. 툴을 사용한 질문 응답1. 툴을 사용한 정보 검색Langchain에서는 다양한 도구를 사용할 수 있다. 아래 코드는 LangChain 라이브러리를 이용하여 특정 질문에 대한 답변을 생성하는데 이 과정에서 Duck Duck go 검색, Arxiv, Wikipedia을 활용하는 예제이다.%%time# from langchain.agents import AgentExecutor, AgentType, initialize_agent, load_toolsfrom langchain.callbacks.streaming_stdout import StreamingStdOutCallbackHandler#위에서 선언하였음.# from langchain.llms import GPT4All# model = "E:\\GPT4.. 2024. 4. 23. 4-2-2(정보요약, 프롬프트 템플릿, 밀도체인) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 2. 프롬프트 템플릿 동적 입력에 대해 프롬프트 템플릿은 미리 정의된 프롬프트에 텍스트를 삽입할 수 있게 하여 변수 길이 제한과 모듈식 프롬프트 디자인을 허용한다. 이를 LangChain 표현 언어 LCEL(LangChain Expression Language)에서 구현할 수 있다. from langchain.l.. 2024. 4. 22. 4-2-1(정보요약, 기본 프롬프팅) Langchain 비서 구축 2. 정보 요약 빠르게 변화하는 요즘 환경에서는 지속적으로 증가하는 정보 양에 대응하는 것이 어렵다. 특히 컴퓨터 과학 및 AI 분야는 더욱 그렇다. 수 많은 논문을 읽고 이해하는 것에 시간이 너무 많이 소요된다. 이 때 자동화가 중요한 역할을 한다. LLM은 강력한 언어 이해 능력을 통해 텍스트를 간추리는 데 뛰어나다. LangChain을 사용해 요약 기술을 더욱 정교한 수준으로 탐색해 보자. 1. 기본 프롬프팅(데코레이터 사용하기) 몇 문장을 요약할 때는 기본 프롬프팅이 잘 작동한다. 원하는 길이를 지정하고 텍스트를 제공하면 된다. # text = "Pluto (minor-planet designation: 134340 Pluto) is a dwarf planet in the Kuiper belt, .. 2024. 4. 22. 4-1(자동 팩트 체크) Langchain 비서 구축 LLM의 환각은 생성된 텍스트가 입력과 비교했을 때 충실하지 않거나 무의미한 것을 나타낸다. 환각에 대처하는 한 가지 기술은 자동 팩트 체크이다. 이는 LLM이 외부 소스의 증거에 대해 제시한 증거를 확인하는 것이다. 이를 통해 부정확하거나 검증되지 않는 진술을 감지할 수 있다. 사실 확인은 주로 세 단계로 이루어진다. 주장 감지: 검증이 필요한 부분 식별 증거 검색: 주장을 지지하거나 반박하는 소스 찾기 판결 예측(verdic prediction): 증거를 기반으로 주장의 진위 평가 마지막 두 단계는 정당성 생성(justification production)과 판결 예측이라는 용어로도 부른다. 사전 훈련된 LLM에는 프롬프트를 통해 얻을 수 있는 광범위한 세계 지식이 포함되어 있다. 지식 베이스, 위키.. 2024. 4. 19. 이전 1 2 다음