Ollama4 4. Open-WebUI : 모델 평가하기 관리자 패널에 '평가' 라는 항목이 있는데 두 모델의 출력을 비교하고 셀프 평가를 사용자가 직접 하여 비교를 할 수 있는 시스템이다. 아래와 같이 관리자 패널 → 설정 → 평가 → 아레나 모델 활성화 → 아레나 모델 추가를 클릭하여 두 모델을 선택한다. 본인은 gemma2 2b와 exaone 3.5 2.7b를 비교해 보기로 했다. 채팅창을 누르면 Google vs LG 가 뜬다. 이를 선택하고 질문을 던져보자. 등가속도에 대하여 질문을 하니, 답변이 달리는데 누가 답변하는지 알려주지 않는다.(흑백요리사여?)가속도 수식이 살짝 이상했지만 봐줄만 했다. 추천을 눌렀더니 누가 생성했는지 알려준다. exaone이 생성한 모델이란다. 피드백을 하고 저장한다. 한번 더 질문을 해보자. 운동.. 2025. 3. 3. 3. Open-WebUI : 사용자 추가 및 외부 접속하기(ngrok 이용하기) 로컬에서 사용하는 Open-webui를 외부에서도 사용하고 싶은 경우, 혹은 공유하고 싶은 경우 아래와 같이 ngrok으로 접속할 수 있다. 제일 먼저 Ollama와 open-webui를 켠 상태여야 한다. Setup - ngrok ngrok - Online in One Line dashboard.ngrok.com 기본 설명은 아래와 같다. ngrok 홈페이지 → 회원가입 후 아래와 같이 토큰을 발급한다. ngrok 다운로드 → 압축풀고 파일 실행 → ngrok config add-authtoken 발급받은 토큰 입력이렇게 하면 인증이 완료된다. 홈페이지 설명을 보면 한번만 하면 된다고 한다. ngrok http http://localhost:8080 입력 → 기본적으로 open-webui의 포트.. 2025. 3. 3. 2. Open-WebUI : 모델 추가하고 사용해 보기 Open WebUI는 오픈 소스이며, 사용자의 컴퓨터 리소스만 사용해 개인 정보를 보호하고 인터넷 연결 없이도 사용 가능하다. Meta, Microsoft, Google 등의 다양한 대형 언어 모델을 다운로드하여 사용할 수 있으며, 프롬프트를 저장하고 재사용하는 기능도 제공한다. 또한, 개발자 커뮤니티에서 제공하는 다양한 도구와 모델을 무료로 이용할 수 있으며, ChatGPT API를 통해 Open AI 모델도 통합할 수 있다. Ollama는 GGUF 포맷의 언어모델을 구동하므로 원본보다 부하가 덜 하다. 그러나,사용하기 전에 Q4 양자와 기준, 7B ~ 11B CPU에서 구동하려면 최소 16GB 이상의 RAM을 추천한다.내 경험상 ~ 7B는 16GB, ~13B는 32GB, ~32B는 64GB의 램이 안.. 2025. 3. 2. 1. 환경 설정하기(ollama, dspy, open-webui) DSPy를 사용하기 위해서는 먼저 환경을 구성해야 한다.기본적으로 miniconda 설치 -> 가상환경 생성 -> jupyter notebook은 설치했다고 가정한다. 사실 지금까지 dspy 2.5를 사용하고 있었는데 dspy가 2.6으로 업데이트 되면서 더 이상 LlamaCpp를 지원하지 않는다!ㅜㅜ LiteLLM 방식으로 불러온다고 하는데 가장 간단한 방법이 뭐가 있을까 하다가 찾아본 것이 바로 Ollama이다. 모델은 LG AI의 EXAONE 3.5를 사용하겠다. (수학, 과학 잘하면서도 한국어, 영어 잘한다. 그리고 내가 물리교사라서 그런지 몰라도 물리 물어보면 gemma보다는 나름 대답 잘한다.) 그리고 ollama를 설치한 김에, open-webui도 함께 설치해 보겠다. 1. Ollama .. 2025. 3. 1. 이전 1 다음
