본문 바로가기

0️⃣1️⃣Open WebUI4

5. Open-WebUI: Google gemini 연결하기 본인은 Google gemini를 선호하는 편인데 openai를 의식해서인지 과금이 생각보다 많이 저렴하다. ollama에서도 gemini api를 이용할 수 있다.  먼저 아래 글을 참고하여 gemini api를 발급받자. (본인은 카드 결재까지 등록함.) https://wikidocs.net/228927 1.3. 개발 환경 세팅**GOOGLE API KEY 발급** --- 구글 제미나이 API를 사용하기 위해서는 구글 API 키를 발급받아야 합니다. 01\. 먼저 ai.google.dev 사이트에…wikidocs.net  발급받은 api를 잘 저장하자. 관리자 패널 → 설정 → 연결에 들어가자 OpenAI API 연결 관리 → +를 누르면 아래와 같이 연결 추가 탭이 뜬다. 아래와 같이 Gemini .. 2025. 3. 6.
4. Open-WebUI : 모델 평가하기 관리자 패널에 '평가' 라는 항목이 있는데 두 모델의 출력을 비교하고 셀프 평가를 사용자가 직접 하여 비교를 할 수 있는 시스템이다. 아래와 같이 관리자 패널 → 설정 → 평가 → 아레나 모델 활성화 → 아레나 모델 추가를 클릭하여 두 모델을 선택한다. 본인은 gemma2 2b와 exaone 3.5 2.7b를 비교해 보기로 했다.     채팅창을 누르면 Google vs LG 가 뜬다. 이를 선택하고 질문을 던져보자.      등가속도에 대하여 질문을 하니, 답변이 달리는데 누가 답변하는지 알려주지 않는다.(흑백요리사여?)가속도 수식이 살짝 이상했지만 봐줄만 했다.  추천을 눌렀더니 누가 생성했는지 알려준다. exaone이 생성한 모델이란다. 피드백을 하고 저장한다.     한번 더 질문을 해보자. 운동.. 2025. 3. 3.
3. Open-WebUI : 사용자 추가 및 외부 접속하기(ngrok 이용하기) 로컬에서 사용하는 Open-webui를 외부에서도 사용하고 싶은 경우, 혹은 공유하고 싶은 경우 아래와 같이 ngrok으로 접속할 수 있다. 제일 먼저 Ollama와 open-webui를 켠 상태여야 한다. Setup - ngrok ngrok - Online in One Line dashboard.ngrok.com 기본 설명은 아래와 같다.    ngrok 홈페이지 → 회원가입 후 아래와 같이 토큰을 발급한다.  ngrok 다운로드 → 압축풀고 파일 실행 → ngrok config add-authtoken 발급받은 토큰 입력이렇게 하면 인증이 완료된다. 홈페이지 설명을 보면 한번만 하면 된다고 한다. ngrok http http://localhost:8080 입력 → 기본적으로 open-webui의 포트.. 2025. 3. 3.
2. Open-WebUI : 모델 추가하고 사용해 보기 Open WebUI는 오픈 소스이며, 사용자의 컴퓨터 리소스만 사용해 개인 정보를 보호하고 인터넷 연결 없이도 사용 가능하다. Meta, Microsoft, Google 등의 다양한 대형 언어 모델을 다운로드하여 사용할 수 있으며, 프롬프트를 저장하고 재사용하는 기능도 제공한다. 또한, 개발자 커뮤니티에서 제공하는 다양한 도구와 모델을 무료로 이용할 수 있으며, ChatGPT API를 통해 Open AI 모델도 통합할 수 있다. Ollama는 GGUF 포맷의 언어모델을 구동하므로 원본보다 부하가 덜 하다. 그러나,사용하기 전에 Q4 양자와 기준, 7B ~ 11B CPU에서 구동하려면 최소 16GB 이상의 RAM을 추천한다.내 경험상 ~ 7B는 16GB, ~13B는 32GB, ~32B는 64GB의 램이 안.. 2025. 3. 2.

티스토리툴바