본문 바로가기

전체 글125

6. Open-WebUI: 커스텀 모델 만들기 채팅창 우측 상단 → 제어를 누르면 채팅 제어 항목이 나타난다. 이 항목에서 다양한 매개변수를 제어함으로써 나만의 챗봇을 만들 수 있다. 예를 들어 시스템 프롬프트를 조절하여 출력을 제어할 수 있다.  채팅창에서 직접 제어하는 것 보다, 모델 자체를 좀 더 구조화하여 나만의 커스텀 모델을 만들 수 있다. 1. 지식 기반(Knowledge)워크스페이스 → 지식 기반(Knowledge)에 들어가서 지식을 만들 수 있다. +를 클릭하여 만들어 보자. 본인은 간단하게 당뇨병에 관련한 pdf 자료를 업로드 하였다. 지식 기반을 생성하고 업로드를 클릭하여 파일 또는 디렉토리를 통째로 업로드할 수 있다.아래와 같이 pdf 파일이 잘 업로드 된 것을 알 수 있다. exaone3.5 7.8B 모델에게 물어보자. #을 누.. 2025. 3. 12.
5. Open-WebUI: Google gemini 연결하기 본인은 Google gemini를 선호하는 편인데 openai를 의식해서인지 과금이 생각보다 많이 저렴하다. ollama에서도 gemini api를 이용할 수 있다.  먼저 아래 글을 참고하여 gemini api를 발급받자. (본인은 카드 결재까지 등록함.) https://wikidocs.net/228927 1.3. 개발 환경 세팅**GOOGLE API KEY 발급** --- 구글 제미나이 API를 사용하기 위해서는 구글 API 키를 발급받아야 합니다. 01\. 먼저 ai.google.dev 사이트에…wikidocs.net  발급받은 api를 잘 저장하자. 관리자 패널 → 설정 → 연결에 들어가자 OpenAI API 연결 관리 → +를 누르면 아래와 같이 연결 추가 탭이 뜬다. 아래와 같이 Gemini .. 2025. 3. 6.
4. Open-WebUI : 모델 평가하기 관리자 패널에 '평가' 라는 항목이 있는데 두 모델의 출력을 비교하고 셀프 평가를 사용자가 직접 하여 비교를 할 수 있는 시스템이다. 아래와 같이 관리자 패널 → 설정 → 평가 → 아레나 모델 활성화 → 아레나 모델 추가를 클릭하여 두 모델을 선택한다. 본인은 gemma2 2b와 exaone 3.5 2.7b를 비교해 보기로 했다.     채팅창을 누르면 Google vs LG 가 뜬다. 이를 선택하고 질문을 던져보자.      등가속도에 대하여 질문을 하니, 답변이 달리는데 누가 답변하는지 알려주지 않는다.(흑백요리사여?)가속도 수식이 살짝 이상했지만 봐줄만 했다.  추천을 눌렀더니 누가 생성했는지 알려준다. exaone이 생성한 모델이란다. 피드백을 하고 저장한다.     한번 더 질문을 해보자. 운동.. 2025. 3. 3.
3. Open-WebUI : 사용자 추가 및 외부 접속하기(ngrok 이용하기) 로컬에서 사용하는 Open-webui를 외부에서도 사용하고 싶은 경우, 혹은 공유하고 싶은 경우 아래와 같이 ngrok으로 접속할 수 있다. 제일 먼저 Ollama와 open-webui를 켠 상태여야 한다. Setup - ngrok ngrok - Online in One Line dashboard.ngrok.com 기본 설명은 아래와 같다.    ngrok 홈페이지 → 회원가입 후 아래와 같이 토큰을 발급한다.  ngrok 다운로드 → 압축풀고 파일 실행 → ngrok config add-authtoken 발급받은 토큰 입력이렇게 하면 인증이 완료된다. 홈페이지 설명을 보면 한번만 하면 된다고 한다. ngrok http http://localhost:8080 입력 → 기본적으로 open-webui의 포트.. 2025. 3. 3.

티스토리툴바