llama cpp2 4-3-2(시각 인터페이스 구축) Langchain 비서 구축 Streamlit을 이용할 것이다.아래는 streamlit 기초 튜토리얼 자료이다. 주피터노트북 파일이 아닌 파이썬 파일(.py)로 실행해야 하기 때문에 myapp.py로 작성하였다.import streamlit as stst.title("Streamlit Test")st.write("hello world")st.write("""# MarkDown> comment- one- two- three""")이 상태에서 Anaconda Powershell Prompt에 실행하면 주피터노트북과 포트가 겹치는 것으로 보인다. 따라서 포트를 다른 것으로 바꿔 줘야 한다. streamlit run E:\Tuning_LLM\myapp.py --server.port 30001 출력 결과!챗봇을 만들어 보자.from lan.. 2024. 4. 25. 3. LangChain 시작해보기(Windows, llama cpp python) GPT4All로 계속 하다 보니 GGML ASSERT 에러 중 nullpkt 에러가 발생하였다.아무래도 conda 환경에서 GPT4All 패키지로만 실행하다 보니 예상치못한 상황이 발생하는 것 같은데 정석 방법대로Windows에서 Llama cpp를 사용하여 로컬에서 최신 모델인 llama 3 8b instruct gguf을 돌려보자.QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging Face QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging FaceMeta-Llama-3-8B-Instruct-GGUF Model Details Meta developed and released the Meta Llama 3.. 2024. 4. 24. 이전 1 다음
