로컬 LLM2 3. LangChain 시작해보기(Windows, llama cpp python) GPT4All로 계속 하다 보니 GGML ASSERT 에러 중 nullpkt 에러가 발생하였다.아무래도 conda 환경에서 GPT4All 패키지로만 실행하다 보니 예상치못한 상황이 발생하는 것 같은데 정석 방법대로Windows에서 Llama cpp를 사용하여 로컬에서 최신 모델인 llama 3 8b instruct gguf을 돌려보자.QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging Face QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging FaceMeta-Llama-3-8B-Instruct-GGUF Model Details Meta developed and released the Meta Llama 3.. 2024. 4. 24. 3. LangChain 시작해보기(GPT4ALL) 1. 환경 구성하기 도커 환경이 잘 안되서 그냥 아나콘다로 하기로 함! 아나콘다 설치 가상환경 생성 conda create -n my_gpt4all python=3.10 패키지 설치 pip install openai==0.28 pip install gradio==4.21 gradio 에러나면 에러부분 encoding을 ‘UTF-8’로 바꾸니까 되더라 pip install langchain pip install gpt4all pip install langchain_experimental pip install langchain_decorators pip install jupyter notebook → 여기서 에러날 수 있는데 chardet? 이거 설치하니까 되더라 허깅페이스 모델 내려받기 TheBloke/M.. 2024. 4. 18. 이전 1 다음
