2. Open-WebUI : 모델 추가하고 사용해 보기

 

 Open WebUI는 오픈 소스이며, 사용자의 컴퓨터 리소스만 사용해 개인 정보를 보호하고 인터넷 연결 없이도 사용 가능하다. Meta, Microsoft, Google 등의 다양한 대형 언어 모델을 다운로드하여 사용할 수 있으며, 프롬프트를 저장하고 재사용하는 기능도 제공한다. 또한, 개발자 커뮤니티에서 제공하는 다양한 도구와 모델을 무료로 이용할 수 있으며, ChatGPT API를 통해 Open AI 모델도 통합할 수 있다.

 

Ollama는 GGUF 포맷의 언어모델을 구동하므로 원본보다 부하가 덜 하다. 그러나,

사용하기 전에 Q4 양자와 기준, 7B ~ 11B CPU에서 구동하려면 최소 16GB 이상의 RAM을 추천한다.

내 경험상 ~ 7B는 16GB, ~13B는 32GB, ~32B는 64GB의 램이 안정적인 것 같다. 

GPU가 있다면 더 괜찮은데 다다익램이므로 ~13B 모델을 구동하려면 최소 12GB VRAM이 안정적인 것 같다.

(32B 모델 기준 3060 12GB, DDR5 64GB로 출력에 3분 ~ 5분 걸리더라 ㅜㅜ)

 

 

아래 블로그를 참고하여 설치하자.  → 여기서 DSPy를 설치하지 않고 넘어가면 된다.

1. 환경 설정하기(ollama, dspy, open-webui)

1. 환경 설정하기(ollama, dspy, open-webui)

 

1. 새로운 모델 추가하기

이름 클릭 → 관리자 패널 → 설정 → 모델 → 오른쪽 상단에 'Manage Models'를 클릭한다.

 

Ollama.com에서 모델 가져오기 → 다운로드 가능한 모델명을 확인하려면, 여기를 클릭하세요 클릭

→ 원하는 모델을 선택한 후 복사 → 붙여넣기 → 다운로드 버튼 누르기

본인은 EXAONE 3.5 이전에 자주 애용하던 gemma-2-it를 이용해 보기로 했다.

 

 

이렇게 하면 아래와 같이 모델을 다운 받은 것을 확인할 수 있다.

 

새로고침하고 채팅에 들어가면 모델을 선택하고 채팅해 볼 수 있다.

롸....? 성심당!!!