gradio 챗봇2 Langchain 로컬 챗봇 만들기(gemma-2-2b-it) 저번시간에 gradio로 챗봇을 만들어 봤는데 파인튜닝할 때 사용하던 프롬프트가 제대로 먹히지 않아 모델 자체의 출력이 나온 것 같았다. 데이터셋을 자세히 보면 은근히 사람의 말을 '앵무새 처럼' 반복한다(...) 예를 들어 '~~~ 때문에 화가 나' 하면 '~~~ 때문에 화가 나시는군요' 이렇게 대답한다. (콱 한대 치고 싶다.) 원래 이 데이터셋은 감정분류에 사용하던 것이라 심리상담 챗봇에는 적당하지 않지만 원래 의도했던 출력을 위해 Langchain을 이용하여 로컬 챗봇을 만들어 보자. 먼저 Langchain과 Langchain huggingface를 설치해야 한다.pip install langchainpip install langchain-huggingface 사실 예전에 렝체인을 다룬 적 있었.. 2024. 11. 2. Recurrent Gemma 2b와 프롬프트로 심리상담 챗봇 만들기 심리상담가 챗봇을 만들 예정인데 full finetuning, lora 기법을 사용하기 전에 프롬프트로 심리상담 챗봇이 가능한지 알아봐야 한다. Recurrent Gemma 2b가 아무리 성능이 좋아졌다고 해도 태생이 2b 모델인 만큼 많은 기대를 할 수 없다. 프롬프트를 통하여 '어느 정도' 심리상담 챗봇을 구현할 수 있는지 알아보고자 한다. 1. 환경 구성하기이전 예시와 같이 모델을 불러와보자. 8bit 양자화를 했더니 출력이 잘 안된다. 4bit 양자화로 해 보자.import osfrom tqdm.auto import tqdmimport torchfrom transformers import AutoTokenizer, AutoModelForCausalLM, BitsAndBytesConfigos.env.. 2024. 10. 2. 이전 1 다음
