transformers2 Recurrent Gemma 2b와 프롬프트로 심리상담 챗봇 만들기 심리상담가 챗봇을 만들 예정인데 full finetuning, lora 기법을 사용하기 전에 프롬프트로 심리상담 챗봇이 가능한지 알아봐야 한다. Recurrent Gemma 2b가 아무리 성능이 좋아졌다고 해도 태생이 2b 모델인 만큼 많은 기대를 할 수 없다. 프롬프트를 통하여 '어느 정도' 심리상담 챗봇을 구현할 수 있는지 알아보고자 한다. 1. 환경 구성하기이전 예시와 같이 모델을 불러와보자. 8bit 양자화를 했더니 출력이 잘 안된다. 4bit 양자화로 해 보자.import osfrom tqdm.auto import tqdmimport torchfrom transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfigos.env.. 2024. 10. 2. 🤗huggingface에서 Recurrent Gemma 2b 사용해보기 1. Recurrent Gamma란?이전시간에 한국어로 파인튜닝한 gemma 2b 버전을 사용했었는데 프롬프트를 넣고 사용해 보니 영 기능이 시원치 않았다. 🤗huggingface의 google 페이지를 들어가니 recurrent gemma가 나왔더라. 구글 홈페이지 들어가서 검색해 보니 아래와 같은 장점이 있더라RecurrentGemma | Google for Developers RecurrentGemma | Google for Developers생성 및 조정 예시는 Gemma Cookbook 저장소를 확인하세요. 자세히 알아보기 이 페이지는 Cloud Translation API를 통해 번역되었습니다. 의견 보내기 컬렉션을 사용해 정리하기 내 환경설정을 기준으로ai.google.dev .. 2024. 7. 22. 이전 1 다음
