gemma 2 2b 한국어1 gemma-2-2b-it 파인튜닝하기 ※ 후술하겠지만 recurrent gemma 2b it로 훈련하였더니 3시간 걸렸던 걸 24년 8월에 공개된 gemma 2 2b it로 교체하였더니 훈련이 1시간 안에 끝나면서도 성능은 훨씬 좋았다. 그래서 gemma 2 2b로 모델을 변경하였다. 1. 데이터 로드 및 전처리데이터 로드 및 전처리는 이전과 같다. 훈련 데이터와 검증 데이터를 불러오고 사람 문장(HS), 시스템 문장(SS)만 남겨 놓는다. 그리고 🤗datasets 라이브러리로 pandas 데이터를 변환한다.import pandas as pddata_path = ".\\Emotional_conversation_corpus\\"train_df = pd.read_csv(data_path+"Training.csv")valid_df = pd.re.. 2024. 10. 11. 이전 1 다음
