[boostcamp] 부스트캠프 AI Tech 22주차 돌아보기

1. 잘한 것

• Leetcode, 백준, 프로그래머스 등 코딩 테스트 문제를 매일 풀었습니다.
• SQL 공부 및 정리를 완료했습니다.
• 여러 LLM backbone에 대해 실험을 진행했습니다.
• 여러 Adapter에 대해 실험을 진행했습니다.

2. 부족한 것

• LLM 실험을 진행했지만, 훈련에 적은 epoch만 할애했기 때문에 좋지 못한 성능을 보였습니다.
• LLM 모델 중
• Adapter 실험 중 제대로 동작하지 않는 것

3. 배운 것

• LoRA에서 개선된 방식들(VB-LoRA 등)이 있는데, 유명한 LoRA보다 더 경량화가 진행되는 것으로 보입니다. (Inference Time 기준 약 20% 감소)
• 다른 LLM에 Adapter를 적용하기 위해서는 target modules를 정의해야 하는데, LLM마다 PEFT 진행을 위해 모델 구조를 알아야 합니다.

4. 시도할 것

• AAC 분야 가장 좋은 성능을 보인 최신 모델인 SLAM-AAC의 인코더를 활용해볼 예정입니다.
• 잘못 생성된 텍스트를 LLM으로 후처리할 수 있는 방법에 대해 탐구해볼 예정입니다.
• Knowledge Distillation으로 더 효율적인 학습과 경량화가 가능할지 방법을 찾아보고 시도해볼 예정입니다.