본문 바로가기

목록104

5-1(챗봇이란?, 임베딩) 챗봇 만들기 LLM 기반 챗봇들은 고객 서비스와 같은 대화영 작업에서는 유창하나. 세계 지식이 부족하기 때문에 주제별 질문에는 잘 답변을 못한다. 이를 극복하기 위해 RAG를 통해 어떻게 해결할 수 있는지 탐구해 본다.핵심은 문서를 벡터 임베딩으로 말뭉치(corpus)를 인코딩해 신속한 의미 검색을 가능하게 하고, 검색 결과를 챗봇의 프롬프트에 통합하는 것이다.주요 주제(Topic)챗봇이란 무엇인가?검색과 벡터의 이해LangChain에서의 로딩 및 검색챗봇 구현응답 중재1. 챗봇이란 무엇인가?챗봇이란, 텍스트 또는 음성을 통한 대화 상호 작용 시뮬레이션 AI 프로그램이다. GPT-3와 같은 LLM 출현은 ChatGPT(2022)와 같은 더 인간적인 챗봇 시스템을 가능하게 하였으나, 그 능력은 여전히 상당히 제한적이다.. 2024. 5. 2.
4-4(추론 전략 탐색) Langchain 비서 구축 4. 추론 전략 탐색LLM은 데이터의 패턴 인식에는 뛰어나지만, 복잡한 다단계 문제에 필요한 상징적 추론에 어려움을 보이기도 한다. 신경망 패턴 완성과 의도적인 상징적 조작을 결합한 고급 추론 전략을 구현해 볼 수 있다.사실들의 체인에서 결론을 도출하기 위한 다단계 연역 추론방정식을 변형의 연속을 통해 풀어내는 수학적 추론문제를 최적의 일련의 동작으로 분해하기 위한 계획 전술명시적인 추론 단계와 함께 도구를 통합함으로써 에이전트는 추상화와 상상력이 필요한 문제에 대처할 수 있으며 복잡한 세계에 대한 복잡한 이해를 얻어 더 의미 있는 대화를 나눌 수 있다.관찰 종속적 추론(observation-dependent reasoning)에서 에이전트는 LLM에게 생각과 동작을 생성하기 위해 반복적으로 맥락과 예제.. 2024. 4. 27.
4-3-2(시각 인터페이스 구축) Langchain 비서 구축 Streamlit을 이용할 것이다.아래는 streamlit 기초 튜토리얼 자료이다. 주피터노트북 파일이 아닌 파이썬 파일(.py)로 실행해야 하기 때문에 myapp.py로 작성하였다.import streamlit as stst.title("Streamlit Test")st.write("hello world")st.write("""# MarkDown> comment- one- two- three""")이 상태에서 Anaconda Powershell Prompt에 실행하면 주피터노트북과 포트가 겹치는 것으로 보인다. 따라서 포트를 다른 것으로 바꿔 줘야 한다.  streamlit run E:\Tuning_LLM\myapp.py --server.port 30001 출력 결과!챗봇을 만들어 보자.from lan.. 2024. 4. 25.
3. LangChain 시작해보기(Windows, llama cpp python) GPT4All로 계속 하다 보니 GGML ASSERT 에러 중 nullpkt 에러가 발생하였다.아무래도 conda 환경에서 GPT4All 패키지로만 실행하다 보니 예상치못한 상황이 발생하는 것 같은데 정석 방법대로Windows에서 Llama cpp를 사용하여 로컬에서 최신 모델인 llama 3 8b instruct gguf을 돌려보자.QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging Face QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging FaceMeta-Llama-3-8B-Instruct-GGUF Model Details Meta developed and released the Meta Llama 3.. 2024. 4. 24.

티스토리툴바