1. 잘한 것

• Leetcode, 백준, 프로그래머스 등 코딩 테스트 문제를 매일 풀었습니다.
• Audio-Language Model, LLM Knowledge Distillation에 관한 논문을 읽고 정리했습니다.
• ONNX에 대한 내용을 찾아보면서 파이토치 모델의 변환을 시도하고 있습니다.

2. 부족한 것

• fairseq에 대한 지식 부족으로 EAT 인코더 실험을 진행하지 못했습니다.
• 현재 적용하고 있는 모델에서는 ONNX로 변환이 쉽지 않아 제대로 변환을 수행하진 못했습니다.
• Knowledge Distillation을 해보려고 했지만, 여기에 적용할만한 적절한 방법론을 찾지 못했습니다.

3. 배운 것

• LoRA Config를 활용하면 데이터 타입 32비트로 적용
• ONNX라는 프레임워크가 딥러닝 모델의 효율성을 높이고, 배포를 위해 필요

4. 시도할 것

• 컴포넌트별 ONNX 변환 시도
• 부스트캠프에서 수행했던 내용들을 정리
• 정리한 내용들을 바탕으로 기업 지원

1. 잘한 것

• Leetcode, 백준, 프로그래머스 등 코딩 테스트 문제를 매일 풀었습니다.
• SQL 공부 및 정리를 완료했습니다.
• 여러 LLM backbone에 대해 실험을 진행했습니다.
• 여러 Adapter에 대해 실험을 진행했습니다.

2. 부족한 것

• LLM 실험을 진행했지만, 훈련에 적은 epoch만 할애했기 때문에 좋지 못한 성능을 보였습니다.
• LLM 모델 중
• Adapter 실험 중 제대로 동작하지 않는 것

3. 배운 것

• LoRA에서 개선된 방식들(VB-LoRA 등)이 있는데, 유명한 LoRA보다 더 경량화가 진행되는 것으로 보입니다. (Inference Time 기준 약 20% 감소)
• 다른 LLM에 Adapter를 적용하기 위해서는 target modules를 정의해야 하는데, LLM마다 PEFT 진행을 위해 모델 구조를 알아야 합니다.

4. 시도할 것

• AAC 분야 가장 좋은 성능을 보인 최신 모델인 SLAM-AAC의 인코더를 활용해볼 예정입니다.
• 잘못 생성된 텍스트를 LLM으로 후처리할 수 있는 방법에 대해 탐구해볼 예정입니다.
• Knowledge Distillation으로 더 효율적인 학습과 경량화가 가능할지 방법을 찾아보고 시도해볼 예정입니다.

1. 잘한 것

• Leetcode, 백준, 프로그래머스 등 코딩 테스트 문제를 매일 풀었습니다.
• SQL 공부 및 정리를 지속하고 있습니다.
• SALMONN 논문 리뷰를 진행하고, 관련 내용을 공유했습니다.
• 프로젝트 베이스라인을 정리했습니다.

2. 부족한 것

• 지난 주에 '시도할 것'으로 내세웠던 것을 이행하지 못했습니다.
• 코드 이해 부족, 데이터 업로드 지연 등의 이유로 제대로 베이스라인을 돌려보지 못했습니다.
• 처음 보는 팀원도 베이스라인을 보고 잘 이해할 수 있도록 문서화하고 싶었지만, 코드 이해 부족 및 프로젝트 크기가 생각보다 커서 제대로 수행하지 못했습니다.

3. 배운 것

📖 SALMONN 모델의 구조 및 동작 방식

4. 시도할 것

• 베이스라인 실행을 통한 SALMONN 학습 방법론 익숙해지려고 합니다.
• LLM 모듈을 바꿔서 실험을 진행해볼 계획입니다.
• Visual Language Model에 대해 살펴보고 구조를 개선할 수 있을지 검토할 계획입니다.

1. 잘한 것

• Leetcode, 백준, 프로그래머스 등 코딩 테스트 문제를 매일 풀었습니다.
• SQL 공부 및 정리를 지속하고 있습니다.
• 수업 및 과제를 제시간에 마무리했습니다.

2. 부족한 것

• 디퓨전 모델에 대한 이론적 지식 및 구현에 대해 충분히 이해하지 못했습니다.
• 과제의 결과물 퀄리티가 많이 떨어집니다..

3. 배운 것

📖 오디오 처리 라이브러리(librosa, torchaudio)
📖 오디오 데이터 처리 개요
📖 이미지 생성 관련 최신 트렌드 정리

4. 시도할 것

• 이력서 피드백이 온 것을 바탕으로 수정을 해서 제출할 계획입니다.
• Transformer에 대한 추가적인 이해가 필요할 것으로 보여

1. 잘한 것

• 수업을 모두 듣고 배운 내용들을 바로 정리했습니다.
• Leetcode, 백준 등 코딩 테스트 문제를 매일 풀었습니다.
• 기업 해커톤을 위한 자료 작성을 마무리했습니다.

2. 부족한 것

• DACON 시계열 이상치 탐지에 대한 타 팀 솔루션에 대해 살펴보지 못했습니다.
• 과제를 모두 마무리하지는 못했습니다.
• 이력서의 완성도가 떨어지는 것을 확인했습니다.

3. 배운 것

📖 GitHub Actions로 자동화하기
📖 Pruning
📖 Knowledge Distillation
📖 Quantization
📖 Adapter, LoRA

4. 시도할 것

• DACON 시계열 이상치 탐지에 대한 타 팀 솔루션에 대해 살펴볼 예정입니다.
• 최신 AI 모델을 적용해 멘토링 과제를 수행할 예정입니다.
• 이력서 개선 및 포트폴리오를 위한 프로젝트 수행 내역 정리를 진행할 예정입니다.

1. 잘한 것

• 수업과 과제를 모두 제시간에 마치고 제출했습니다.
• 배운 내용들을 바로 정리했습니다.
• Leetcode, 백준 등 코딩 테스트 문제를 매일 풀었습니다.
• 컴퍼니데이에 앞서 팀 소개를 위한 자료를 제가 주도적으로 작성하고 있습니다.

2. 부족한 것

• 사용하고 있는 랩탑의 제한으로 docker engine이 계속 꺼져서 더 많은 것을 시도해보지 못한 것이 아쉽습니다.
• 컴퍼니데이를 신청하지 못해서 다른 기업에 대한 이야기를 듣지 못한 점이 아쉽습니다.

3. 배운 것

📖 FastAPI 확장 기능, FastAPI 구현하기 실습
📖 Docker 주요 개념 정리, Docker Image 용량 최적화 방법론
📖 Airflow 기초 개념 공부
📖 MLflow 튜토리얼

4. 시도할 것

• GitHub Actions에 대해 좀 더 익숙해지기 위해서 관련 자료, 적용해볼 수 있는 시도를 고민해볼 예정입니다.
• 부스트캠프에서 익숙해진 이미지 데이터셋과는 다른 데이터셋(시계열 등)에 대한 분석 방법을 dacon의 best practice 클론 코딩을 진행해볼 계획입니다.

1. 잘한 것

- 새로운 데이터 유형에 대한 분석 및 프로젝트를 시작했습니다. 

- 매번 배운 내용을 바로 정리했습니다.

- Leetcode, 백준 등 코딩 테스트 문제를 풀었습니다.

2. 부족한 것

- 수업, 과제에 대해 많은 진도를 나가지 못했습니다.

- 새로운 데이터 유형(시계열)과 딥러닝에 대해 제대로 이해하지 못했습니다.

3. 배운 것

- 머신러닝, 딥러닝의 프로덕트 서빙과 디자인 패턴 

📖 머신러닝 / 딥러닝의 Product Serving과 디자인 패턴

- 생성형 이미지 모델들의 변천사 및 평가지표
📖 온라인 서빙을 위한 웹에 대한 기본 지식 정리 | REST API

📖 [Fast API] 파이썬으로 웹 구현하기 (1) | Parameter, Form, File, Request & Response Body

4. 시도할 것

- 원하는 결과를 얻지 못하더라도 프로젝트 잘 마무리하기 (kats 라이브러리 사용해보기) 

- 다른 데이터셋에 대한 분석 및 머신러닝/딥러닝 사이클을 클론 코딩 

1. 잘한 것

- 시간 내에 수업 및 과제를 모두 마무리했습니다.

- 매번 배운 내용을 바로 정리했습니다.

- Leetcode, 백준 등 코딩 테스트 문제를 풀었습니다.

2. 부족한 것

- 시도할 것으로 이야기햇던 논문 요약 정리를 못했습니다.

3. 배운 것

- 대규모 언어 모델의 학습 방법론 개요와 오픈소스 LLM 모델, 그리고 평가지표 

📖 Large Language Model(LLM)의 학습 방법론 | LLM Pretrained Models

📖 LLM의 효율적인 Fine-Tuning을 진행하는 방법 | Parameter Efficient Fine-Tuning, PEFT

📖 오픈소스 LLM과 학습방법 | LLaMA, Alpaca

📖 LLM 평가지표와 주요 데이터셋 간단 정리 | MMLU, HellaSwag, HumanEval, G-Eval

- 생성형 이미지 모델들의 변천사 및 평가지표
📖 이미지 생성 모델의 평가 지표 정리 | Inception Score, FID, CLIP Score

4. 시도할 것

- 이미지 생성 모델을 실제 사용할 수 있게 정리하고 적용해보기

- 프로젝트 부분을 채울만한 것들 고민하고 실행에 옮기기

1. 잘한 것

- MMSegmentation을 활용해 SegFormer 모델을 실험했습니다. 

- Hard voting을 구현해 여러 모델의 결과 csv파일을 앙상블할 수 있도록 했습니다.     

- GitHub 리뷰어로 새롭게 구현된 기능과 실험들에 대한 브랜치를 검토하고 병합하였습니다. 

- 항상 까먹었던 파이썬 이미지 처리 라이브러리에 대해 전반적으로 정리를 완료했습니다. 

2. 부족한 것

- 여전히 MMSegmentation 라이브러리 사용에 아직 익숙하지 않아서 최신 모델을 적용하지 못했습니다.

- Leetcode, 백준 등 코딩테스트 문제를 매일 풀지는 못했습니다. 

- 모델 학습 시간, 오류 가능성을 고려하지 않고 프로젝트 일정을 수립했었는데, 빠듯해서 충분한 훈련을 하지 못했습니다. 

3. 배운 것

- MMSegmentation에 새로운 모듈을 적용하는 방법 정리 

📖 MMSeg에서 .py로 정의된 사용자 정의 지표 가져오기 | Custom Metric

📖 MMSeg에서 새로운 데이터셋 정의하기 | Custom Dataset

📖 MMSeg에서 새로운 증강 기법 만들기 | Custom Transforms

-  CV 특히 픽셀단위로 수행하는 Segmentation 작업들은 이미지 사이즈에 모델 성능이 매우 민감하게 반응한다.

➡️ 훈련한 이미지 사이즈와 검증 및 추론에서 사용하는 이미지 사이즈가 다르지 않도록 resize 등 조치 

4. 시도할 것

- 실험을 진행하면서 겪었던 문제(UNet 계열, SegFormer의 이미지 사이즈)에 대한 답을 찾기 위해 논문 요약 정리[boo