[Day4] LLM 스터디 1기 - 파인튜닝 개념

한 권으로 끝내는 실전 LLM 파인튜닝 - 강다솔 지음/위키북스

3일 차가 고비였는데 4일 차는 쉬어가는 느낌이다. 파인튜닝이 무엇인지, 왜 쓰는지, 어떤 종류들이 있는지에 대해 조금은 가벼운 마음으로 공부했다.

03. 전체 파인튜닝

파인튜닝 개념 및 데이터 준비 과정 이해

파인튜닝은(Fine-Tuning) 이미 학습되어 공개된 언어 모델(Pre-trained Language Model, 사전 훈련된 언어 모델)을 특정 작업에 맞게 추가로 학습하는 것을 말한다. 새로운 언어 모델을 개발하지 않고 굳이 파인튜닝을 하는 이유는 훨씬 더 경제적이고 편리하기 때문이다. 참고로 Llama 3 모델을 개발하는 데에는 약 7,700만 시간과 7억2천만 달러 이상의 비용이 들었다고 한다. 또한 우리가 가진 특정 분야의 (상대적으로) 적은 데이터로만 학습을 시키면 '과적합'과 '자연스러운 언어 생성 능력 부족'이라는 문제가 생긴다. 이상이 파인튜닝을 하는 이유다.

출처: https://velog.io/@sobit/PEFT-%EB%8F%84%EB%A9%94%EC%9D%B8-%ED%8A%B9%ED%99%94-LLM%EC%9D%84-%EC%9C%84%ED%95%9C-%ED%9A%A8%EC%9C%A8%EC%A0%81%EC%9D%B8-%EB%B0%A9%EB%B2%95%EB%A1%A0

파인튜닝의 종류는 크게 모든 파라미터의 값을 업데이트하는 튜닝(Full Fine-Tuning, 전체 파인튜닝)과 매개변수 효율적 파인튜닝(Parameter-Efficient Fine-Tuning, PEFT)으로 나눌 수 있다. PEFT는 다시 세 가지 방법으로 나뉘는데 먼저 어뎁터 튜닝(Adapter Tuning)은 기존 언어 모델에 작은 규모의 신경망을 새롭게 추가하는 방식이다. 다음으로 프롬프트 튜닝(Prompt Tuning)은 입력 텍스트에 특별한 지시사항을 추가하는 방법이다. 책에도 모델 자체를 변경하지 않고도 원하는 원하는 결과를 얻을 수 있는 방법이라고 적혀 있긴 한데 프롬프트 엔지니어링과 같은 건지 헷갈린다. 마지막 LoRa(Low-Rank Adaptation)는 작은 크기의 두 행렬을 곱한 결과를 원래 행렬에 더하는 방식이다.

모델의 성능을 높이기 위해서는 작업을 어디서부터 시작해야 할지, 그리고 어떤 방식으로 접근해야 할지 결정하는 하는 것, 적절한 데이터셋을 찾는 것, 효과적인 전처리 전략 등이 중요하다. 이후 다양한 태스크와 데이터셋, 전처리 방법 등이 나오는데 원론적인 내용이라 따로 정리하지는 않는다. 4일 차 스터디는 여기까지. 끝.