[NLP] 오픈소스 LLM과 학습방법 | LLaMA, Alpaca

LLaMA

등장배경

🤐 민감정보 문제

회사를 다녀본 사람들이라면 많이 공감할 문제인데, 기업은 내부의 민감 정보가 밖으로 나가는 것을 막기 위해 여러 보안 장치를 해둡니다. 대표적인 것이 망분리인데 이런 내부망 환경에서는 Chat-GPT와 같은 외부 LLM 기능 활용이 제한됩니다. 

🪪 라이센스 문제

머신러닝/딥러닝 분야의 전반적인 프로세스를 살펴볼 때 학습 데이터 - 사전학습 모델 - 학습 / 추론이 진행되는 파이프라인을 거치게 됩니다. 이 과정에서 위 3개 중 하나라도 비상업용 라이센스가 있는 경우 모델의 상용화가 어렵습니다. 

오픈소스 LLM

일반적으로 LLM 서비스를 하는 기업들의 운영 형태를 보면 일반 사용자가 모델에 직접 접근하는 것을 제한하고 있는데, 이를 Closed LLM이라고 합니다. Closed LLM은 위에서 언급한 문제들에서 완전하게 자유롭지는 않습니다. (특히 민감정보 문제로부터)

 

따라서 이런 문제를 해결하기 위해 등장한 것이 Meta의 오픈소스 LLM인 LLaMA입니다. 오픈소스 LLM이란 공개된 사전학습 데이터를 이용해 라이센스 문제나 민감정보 문제로부터 자유로운 사전학습된 LLM 사전학습 모델입니다. 이를 활용해 특정 태스크에 Fine-tuning을 더 오래 학습시키는 것이 더 낫다는 것에서 출발한 것이죠.

LLaMA의 학습방법

LLaMA는 오픈소스로 제공된 사전학습 모델인만큼 실제 활용을 위해서는 추가적인 학습이 필요합니다. 많은 사례에서 GPT의 API를 활용해 데이터를 구축하고 이를 학습에 활용하는 학습 방법론이 연구되고 있습니다. 

👨‍🏫 Self-Instruct

GPT API를 활용해 데이터를 구축하는 대표적인 방식입니다. 일반적인 절차는 아래와 같이 수행할 수 있습니다. 

1. 데이터 수집을 위한 Prompt Pool을 확보하고, 다양한 작업에 대해 프롬프트-정답 쌍도 만든다.
2. 기존 Pool에서 샘플링하여 LLM에게 새로운 Instrcution을 생성
3. 생성된 Instruction을 분류 여부 판단
4. 생성 Instruction에 답변(Instance) 생성
5. 기존 Pool과 기준 유사도 이하인 데이터만 Pool에 추가하고 텍스트로 해결할 수 없는 작업(예를 들어, 이미지) 제거
6. 이렇게 생성된 데이터로 지도학습(SFT) 진행

🦙 Alpaca

Alpaca는 2023년 스탠포드에서 발표한 LLM SFT 프로젝트로 Self-Instruct 방식으로 생성한 데이터를 LLaMA에 SFT를 진행한 모델입니다. 즉, Alpaca는 LLaMA를 활용해 fine-tuning한 모델입니다. 

참고자료

[1] 강필성. "Text Generation 3 : sLLM Models". boostcamp ai tech.