경량화 Flashcards
AI 최적화/ 모델 경량화
[정의] 기존모델 대비 정확도 손실을 최소화, 모델의 크기와 연산량 최소화 하면서 학습/추론 효율성 높이는 기술
[유형] 가지치기(기학습 모델 이용), 양자화(기학습 모델 이용 하거나, 모델학습때 적용), 지식증류(teacher,student, 기학습모델 이용), 경량네트워크 설계(뉴런네트워크 구조 변경, 모델 학습때 부터 적용)
지식증류
[리드] 모방학습을 통한 모델 압축
[정의] 앙상블의 대용량 복잡성 문제 해결위해 Loss function학습 기반의 새로운 모델 생성시 지식 전달로 학습 시간을 줄이는 알고리즘 경량화 기법
[필요성] 알고리즘 경량화, 학습시간 최소화
* 알고리즘 경량화가 가능함에 따라 모바일,IoT등 경량 장치에 딥러닝 모델 구현 적합
[절차] training data - Teacher (Pre- trained) - soft labels - Student (to be trained) - hard labels(true label)
* 사전에 학습된 모델의 데이터셋을 바탕으로 지식 전이로 학습 시간 단축 효과
[구성요소]
1. Teacher Network : 높은 예측 정확도를 가진 미리 학습된 모델
2. Student Network : Teacher 모델의 데이터를 전달 받아 학습하는 단순한 모델
3. 활성함수(Activation Function) : 입력값 활성화 여부 결정 함수(Softmax)
4. 손실함수(Loss Function) : Tearcher 모델의 soft label과 Student모델의 prediction 비교
* Teacher 모델을 Student 모델로 전이하여 데이터를 압축해 경량화된 모델 배포가 가능
[활용방안]
- 모델 경량화 : 기 학습된 Tearcher모델로 경량화된 Student 모델 학습
- 영상 분류 : 적은 영상 데이터로 기존 딥러닝 학습 효과 향상
