[boostcamp] 부스트캠프 AI Tech 23주차 돌아보기

1. 잘한 것

• Leetcode, 백준, 프로그래머스 등 코딩 테스트 문제를 매일 풀었습니다.
• Audio-Language Model, LLM Knowledge Distillation에 관한 논문을 읽고 정리했습니다.
• ONNX에 대한 내용을 찾아보면서 파이토치 모델의 변환을 시도하고 있습니다.

2. 부족한 것

• fairseq에 대한 지식 부족으로 EAT 인코더 실험을 진행하지 못했습니다.
• 현재 적용하고 있는 모델에서는 ONNX로 변환이 쉽지 않아 제대로 변환을 수행하진 못했습니다.
• Knowledge Distillation을 해보려고 했지만, 여기에 적용할만한 적절한 방법론을 찾지 못했습니다.

3. 배운 것

• LoRA Config를 활용하면 데이터 타입 32비트로 적용
• ONNX라는 프레임워크가 딥러닝 모델의 효율성을 높이고, 배포를 위해 필요

4. 시도할 것

• 컴포넌트별 ONNX 변환 시도
• 부스트캠프에서 수행했던 내용들을 정리
• 정리한 내용들을 바탕으로 기업 지원