본문 바로가기

open-webui6

2. Open-WebUI : 모델 추가하고 사용해 보기 Open WebUI는 오픈 소스이며, 사용자의 컴퓨터 리소스만 사용해 개인 정보를 보호하고 인터넷 연결 없이도 사용 가능하다. Meta, Microsoft, Google 등의 다양한 대형 언어 모델을 다운로드하여 사용할 수 있으며, 프롬프트를 저장하고 재사용하는 기능도 제공한다. 또한, 개발자 커뮤니티에서 제공하는 다양한 도구와 모델을 무료로 이용할 수 있으며, ChatGPT API를 통해 Open AI 모델도 통합할 수 있다. Ollama는 GGUF 포맷의 언어모델을 구동하므로 원본보다 부하가 덜 하다. 그러나,사용하기 전에 Q4 양자와 기준, 7B ~ 11B CPU에서 구동하려면 최소 16GB 이상의 RAM을 추천한다.내 경험상 ~ 7B는 16GB, ~13B는 32GB, ~32B는 64GB의 램이 안.. 2025. 3. 2.
1. 환경 설정하기(ollama, dspy, open-webui) DSPy를 사용하기 위해서는 먼저 환경을 구성해야 한다.기본적으로 miniconda 설치 -> 가상환경 생성 -> jupyter notebook은 설치했다고 가정한다. 사실 지금까지 dspy 2.5를 사용하고 있었는데 dspy가 2.6으로 업데이트 되면서 더 이상 LlamaCpp를 지원하지 않는다!ㅜㅜ LiteLLM 방식으로 불러온다고 하는데 가장 간단한 방법이 뭐가 있을까 하다가 찾아본 것이 바로 Ollama이다.  모델은 LG AI의 EXAONE 3.5를 사용하겠다. (수학, 과학 잘하면서도 한국어, 영어 잘한다. 그리고 내가 물리교사라서 그런지 몰라도 물리 물어보면 gemma보다는 나름 대답 잘한다.) 그리고 ollama를 설치한 김에, open-webui도 함께 설치해 보겠다. 1. Ollama .. 2025. 3. 1.

티스토리툴바