본문 바로가기

gguf4

2. Open-WebUI : 모델 추가하고 사용해 보기 Open WebUI는 오픈 소스이며, 사용자의 컴퓨터 리소스만 사용해 개인 정보를 보호하고 인터넷 연결 없이도 사용 가능하다. Meta, Microsoft, Google 등의 다양한 대형 언어 모델을 다운로드하여 사용할 수 있으며, 프롬프트를 저장하고 재사용하는 기능도 제공한다. 또한, 개발자 커뮤니티에서 제공하는 다양한 도구와 모델을 무료로 이용할 수 있으며, ChatGPT API를 통해 Open AI 모델도 통합할 수 있다. Ollama는 GGUF 포맷의 언어모델을 구동하므로 원본보다 부하가 덜 하다. 그러나,사용하기 전에 Q4 양자와 기준, 7B ~ 11B CPU에서 구동하려면 최소 16GB 이상의 RAM을 추천한다.내 경험상 ~ 7B는 16GB, ~13B는 32GB, ~32B는 64GB의 램이 안.. 2025. 3. 2.
4-4(추론 전략 탐색) Langchain 비서 구축 4. 추론 전략 탐색LLM은 데이터의 패턴 인식에는 뛰어나지만, 복잡한 다단계 문제에 필요한 상징적 추론에 어려움을 보이기도 한다. 신경망 패턴 완성과 의도적인 상징적 조작을 결합한 고급 추론 전략을 구현해 볼 수 있다.사실들의 체인에서 결론을 도출하기 위한 다단계 연역 추론방정식을 변형의 연속을 통해 풀어내는 수학적 추론문제를 최적의 일련의 동작으로 분해하기 위한 계획 전술명시적인 추론 단계와 함께 도구를 통합함으로써 에이전트는 추상화와 상상력이 필요한 문제에 대처할 수 있으며 복잡한 세계에 대한 복잡한 이해를 얻어 더 의미 있는 대화를 나눌 수 있다.관찰 종속적 추론(observation-dependent reasoning)에서 에이전트는 LLM에게 생각과 동작을 생성하기 위해 반복적으로 맥락과 예제.. 2024. 4. 27.
4-3-2(시각 인터페이스 구축) Langchain 비서 구축 Streamlit을 이용할 것이다.아래는 streamlit 기초 튜토리얼 자료이다. 주피터노트북 파일이 아닌 파이썬 파일(.py)로 실행해야 하기 때문에 myapp.py로 작성하였다.import streamlit as stst.title("Streamlit Test")st.write("hello world")st.write("""# MarkDown> comment- one- two- three""")이 상태에서 Anaconda Powershell Prompt에 실행하면 주피터노트북과 포트가 겹치는 것으로 보인다. 따라서 포트를 다른 것으로 바꿔 줘야 한다.  streamlit run E:\Tuning_LLM\myapp.py --server.port 30001 출력 결과!챗봇을 만들어 보자.from lan.. 2024. 4. 25.
3. LangChain 시작해보기(Windows, llama cpp python) GPT4All로 계속 하다 보니 GGML ASSERT 에러 중 nullpkt 에러가 발생하였다.아무래도 conda 환경에서 GPT4All 패키지로만 실행하다 보니 예상치못한 상황이 발생하는 것 같은데 정석 방법대로Windows에서 Llama cpp를 사용하여 로컬에서 최신 모델인 llama 3 8b instruct gguf을 돌려보자.QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging Face QuantFactory/Meta-Llama-3-8B-Instruct-GGUF · Hugging FaceMeta-Llama-3-8B-Instruct-GGUF Model Details Meta developed and released the Meta Llama 3.. 2024. 4. 24.

티스토리툴바