gemma 한국어3 recurrent gemma 2b 훈련을 위한 데이터 준비 및 처리하기 이전시간에 gemma 2b의 태생적 한계로 인해 프롬프트만으로 심리 상담 챗봇을 만들기에 부족함을 알았다. 파인튜닝을 위해 데이터를 준비하고 토큰화할 수 있도록 처리해야 한다. 🤗Huggingface의 🤗datasets 라이브러리를 이용해보자. 1. 데이터 구하기AI Hub의 '감성 대화 말뭉치'를 이용하였다. 용량도 20MB 정도로 그리 크지 않고 본인 컴퓨터에서 큰 무리 없이 돌릴만 하다고 판단되어 선택하게 되었다. 이 데이터를 이요하려면 회원가입 하고 몇 가지 동의 후 다운받을 수 있다.데이터 찾기 - AI 데이터찾기 - AI-Hub (aihub.or.kr) AI-Hub샘플 데이터 ? ※샘플데이터는 데이터의 이해를 돕기 위해 별도로 가공하여 제공하는 정보로써 원본 데이터와 차이가 있을 수 있으며.. 2024. 10. 3. Recurrent Gemma 2b와 프롬프트로 심리상담 챗봇 만들기 심리상담가 챗봇을 만들 예정인데 full finetuning, lora 기법을 사용하기 전에 프롬프트로 심리상담 챗봇이 가능한지 알아봐야 한다. Recurrent Gemma 2b가 아무리 성능이 좋아졌다고 해도 태생이 2b 모델인 만큼 많은 기대를 할 수 없다. 프롬프트를 통하여 '어느 정도' 심리상담 챗봇을 구현할 수 있는지 알아보고자 한다. 1. 환경 구성하기이전 예시와 같이 모델을 불러와보자. 8bit 양자화를 했더니 출력이 잘 안된다. 4bit 양자화로 해 보자.import osfrom tqdm.auto import tqdmimport torchfrom transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfigos.env.. 2024. 10. 2. 🤗huggingface에서 Recurrent Gemma 2b 사용해보기 1. Recurrent Gamma란?이전시간에 한국어로 파인튜닝한 gemma 2b 버전을 사용했었는데 프롬프트를 넣고 사용해 보니 영 기능이 시원치 않았다. 🤗huggingface의 google 페이지를 들어가니 recurrent gemma가 나왔더라. 구글 홈페이지 들어가서 검색해 보니 아래와 같은 장점이 있더라RecurrentGemma | Google for Developers RecurrentGemma | Google for Developers생성 및 조정 예시는 Gemma Cookbook 저장소를 확인하세요. 자세히 알아보기 이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 컬렉션을 사용해 정리하기 내 환경설정을 기준으로ai.google.dev .. 2024. 7. 22. 이전 1 다음
