PyTorch로 지식 증류(Knowledge Distillation) 구현하기

지식 증류(Knowledge Distillation)는 보다 가벼운 모델을 사용하기 위해 큰 모델에서 작은 모델로 지식을 전달하여 학습의 효율성을 높여주는 방법입니다. (참고) 여기서는 Response-based 기법을 수행하는 것을 구현하려고 합니다.

큰 모델(Teacher)과 작은 모델(Student)는 별도로 구현이 완료되어 있고, 여기서 우리가 구현해야 하는 것은 기존의 손실함수 외에 새로운 손실함수를 통합하는 과정입니다.

 

 

 

 

참고자료

1. PyTorch Knowledge Distillation Tutorial