<들어가며>
거대 언어 모델(LLM)이 대세가 된 요즘, 이러한 라이브러리를 공부해야 겠다는 생각이 들었다. 인터넷에서 자료를 찾아가면서 공부하는데 항상 🤗트랜스포머 라이브러리가 나오더라고... 안되겠다 싶어 공부하면서 나름 정리한 내용을 블로그로 포스팅 하기로 했다. (참고로 🤗허깅페이스, 🤗트랜스포머, 🤗PEFT 등 🤗허깅페이스와 '라이브러리'와 관련된 이야기는 무조건 이모지 🤗를 붙이는게 관례(?) 라고 한다.)
그냥 번역해서 복사, 붙여넣기 하면 재미없지... 튜토리얼을 공부하면서 내가 생각하고 구상한 모델을 예시로 넣을 것이다. 잘 될진 안될지 모르것다. 지금 생각은 llama 등과 같은 큰 모델 말고 roberta 같은 작은 모델부터 시작하려고 한다. 공부하다가 틈틈히 '자연어 처리를 위한 트랜스포머' 책을 보면서 부족한 내용을 채울 것이다.
포스팅을 보는 사람들은 이 점을 잘 참고해 주시길 바란다 (RNN Numpy는 좀 더 여유로와지면... ㅡㅡ )
<참고자료>
https://huggingface.co/docs/transformers/index
🤗 Transformers
Reinforcement learning models
huggingface.co
🤗 트랜스포머(Transformer)
Pytorch, TensorFlow, JAX를 위한 머신러닝 라이브러리다.
🤗트랜스포머는 사전 학습된 모델(pretrained models)을 쉽게 다운로드하고 훈련할 수 있는 API를 제공한다. 이를 통해 컴퓨터 비용과 탄소 배출량을 줄이고 처음부터 훈련하는데 필요한 시간과 리소스를 절약할 수 있다. (이렇게 돈을 벌기도 하는구나... 원래 트랜스포머는 Attention을 기반으로 한 구조인데 긔냥 라이브러리명으로 만들었네?)
아래와 같은 작업을 할 수 있다.
📝 자연어 처리 : 텍스트 분류, 개체명 인식, 질문 답변, 언어 모델링, 요약, 번역, 객관식 및 텍스트 생성.
🖼️ 컴퓨터 비전 : 이미지 분류, 객체 감지 및 분할.
🗣️ 오디오 : 자동 음성 인식 및 오디오 분류.
🐙 멀티모달 : 테이블 질의 응답, 광학 문자 인식, 스캔 문서에서 정보 추출, 비디오 분류, 시각적 질의 응답.
지원되는 모델
2023년 8월 25일 현재 약 219개의 모델이 지원되는 것 같다.
지원되는 프레임워크
🤗트랜스포머 라이브러리는 아래와 같은 머신러닝 라이브러리를 지원하는데 파이토치를 쓰는 것이 속 편해 보인다. (많은 예제에서 파이토치를 사용하는 것 같다.)
