4. Open-WebUI : 모델 평가하기

관리자 패널에 '평가' 라는 항목이 있는데 두 모델의 출력을 비교하고 셀프 평가를 사용자가 직접 하여 비교를 할 수 있는 시스템이다.

 

아래와 같이 관리자 패널 → 설정 → 평가 → 아레나 모델 활성화 → 아레나 모델 추가를 클릭하여 두 모델을 선택한다. 본인은 gemma2 2b와 exaone 3.5 2.7b를 비교해 보기로 했다.

 

 

 

 

 

채팅창을 누르면 Google vs LG 가 뜬다. 이를 선택하고 질문을 던져보자.

 

 

 

 

 

 

등가속도에 대하여 질문을 하니, 답변이 달리는데 누가 답변하는지 알려주지 않는다.(흑백요리사여?)

가속도 수식이 살짝 이상했지만 봐줄만 했다.

 

 

추천을 눌렀더니 누가 생성했는지 알려준다. exaone이 생성한 모델이란다. 피드백을 하고 저장한다.

 

 

 

 

 

한번 더 질문을 해보자. 운동량과 충격량을 물어보았다. 충격량의 정의적인 설명으로는 힘과 힘이 작용한 시간으로 설명해야 하는데 단순히 운동량의 변화량으로만 설명하여 아쉬웠다. 그래서 비추천 버튼을 눌렀다 

 

 

 

 

근데 이건 gemma가 생성한 거란다... ㅋㅋㅋ 의도적인 국뽕이 아니였는데...

 

 

 

평가를 완료하고, 다시 관리자 패널 → 평가 → 피드백으로 들어가면 아래와 같이 승리, 패배가 뜬다...ㅋㅋ;;; 이거를 OpenWebUI 커뮤티에 공유할 수 있는데 공유하면 별 건 없다. 

피드백 하면서 사용하면 좋을듯?