gemma 2 2b2 Langchain 로컬 챗봇 만들기(gemma-2-2b-it) 저번시간에 gradio로 챗봇을 만들어 봤는데 파인튜닝할 때 사용하던 프롬프트가 제대로 먹히지 않아 모델 자체의 출력이 나온 것 같았다. 데이터셋을 자세히 보면 은근히 사람의 말을 '앵무새 처럼' 반복한다(...) 예를 들어 '~~~ 때문에 화가 나' 하면 '~~~ 때문에 화가 나시는군요' 이렇게 대답한다. (콱 한대 치고 싶다.) 원래 이 데이터셋은 감정분류에 사용하던 것이라 심리상담 챗봇에는 적당하지 않지만 원래 의도했던 출력을 위해 Langchain을 이용하여 로컬 챗봇을 만들어 보자. 먼저 Langchain과 Langchain huggingface를 설치해야 한다.pip install langchainpip install langchain-huggingface 사실 예전에 렝체인을 다룬 적 있었.. 2024. 11. 2. gemma-2-2b-it 파인튜닝하기 ※ 후술하겠지만 recurrent gemma 2b it로 훈련하였더니 3시간 걸렸던 걸 24년 8월에 공개된 gemma 2 2b it로 교체하였더니 훈련이 1시간 안에 끝나면서도 성능은 훨씬 좋았다. 그래서 gemma 2 2b로 모델을 변경하였다. 1. 데이터 로드 및 전처리데이터 로드 및 전처리는 이전과 같다. 훈련 데이터와 검증 데이터를 불러오고 사람 문장(HS), 시스템 문장(SS)만 남겨 놓는다. 그리고 🤗datasets 라이브러리로 pandas 데이터를 변환한다.import pandas as pddata_path = ".\\Emotional_conversation_corpus\\"train_df = pd.read_csv(data_path+"Training.csv")valid_df = pd.re.. 2024. 10. 11. 이전 1 다음
