딥러닝 Flashcards
손실함수
[리드] 신경망의 나쁨을 나타내는 지표
[정의] 딥러닝 신경망의 최적 가중치를 찾기위해 실제값과 신경망 예측값의 차이를 수치화 해주는 함수
* 라벨링 데이터의 학습 예측 값과 실제값의 데이터 특성에 맞는 수식을 통해 차이를 계산
[유형] MSE, RMSE, MAE, BCE, CCE, CE
* 딥러닝 학습 모델에서 손실함수의 결과가 최솟값을 가지도록 역전파를 통해 신경망의 은닉층의 가중치를 갱신해야 함.
옵티마이저
[정의] 딥러닝에서 손실함수의 최솟값을 찾기 위해 딥러닝 신경망의 가중치를 갱신하여 딥러닝 신경망 모델을 최적화하는 알고리즘
* 손실함수를 통해 손실값으로부터 모델의 파라메터를 업데이트하는 방식
* Loss Function 함수의 전역최소점을 찾기 위한 최적의 알고리즘 수행
[유형]
- Gradient Descent(확률적 경사하강) : 전체 데이터 셋의 에러를 구한뒤 기울기를 계산
- SGD : 몇개의 샘플을 뽑아서 Gradient Descent 수행
- Momentum : 최적화 수행시 방향에 가속도를 주어 최적화
- Adagrad : 개별 매개변수에 adaptive 하게 learning rate를 조정
- RMSProp : Adagrad 단점 극복, 지수이동평균
- Adam : Adagrad와 모멘텀의 특징을 조합
DNN
[정의] 입력층과 출력층 사이에 다중의 은닉층으로 구성된 비선형 관계 모델링 가능한 인공신경망
[응용] 범용, 이미지 인식
[한계점/해결방안] 과적합 문제 / CNN, RNN
CNN
[정의] 전통적인 심층신경망 앞에 다계층의 합성곱 계층을 추가하여 고차원의 특징을 추출 분류하는 인공 신경망
[특징] ReLU (Gradient Vanishing 문제 해결), Dropout 적용 (Overfitting 문제 해결)
[동작 매커니즘]
1. Convolution layer : 필터를 이미지에 적용하역 Feature Map(특징) 추출
2. Pooling layer : m x m 의 Feature Map를 n x n으로 차원 축소
3. Fully connected layer(MLP) : 선형으로 연결하여 이미지 분류
4. Output : 활성함수 Softmax, ReLU등을 사용 최종 분류 (Gradient Vanishing 문제로 ReLU 사용 추세)
- Convolution Layer → Pooling Layer → Feedforward Layer → Fully connected Layer
[기술요소]
- Layer : Convolution, Pooling, Fully connected
- 성능개선 : ReLU, Dropout, BigData(과적합 문제 해결)
[응용] 이미지 인식, 컴퓨터비젼
* CNN은 주로 영상 및 이미지 인식, RNN은 음성 인식에 활용
CNN vs RNN
[비교] CNN vs RNN
- 입출력 데이터 : 정해진 크기 입력, 정해진 크기 출력 / 랜덤 입력값, 랜덤 출력값
- 고유특징 : 합성곱 레이어, Pooling 레이어 / 이전 데이터의 처리 수행
- 학습방법 : Fully connected layer를 이용한 분류 지도학습 / Sequential 학습, 과거 내용 통한 현재문맥 이해
- 활성화 함수 : ReLU, Leaked LeLU / tanh 함수, Sigmoid 함수
- 오류역전파 : Fully connected layer에서 활용 / BPTT(Back Propagration Through Time)-Cell 연산에 활용
- 성능개선 : DropOut이용 Overfitting 방지 / GRU (Rest, Update) 이용
- 적용분야 : 스타일 추천, R-CNN, 컴퓨터 비젼 / 필기체 인식, 카드번호, 서명인식, NLP, 비디오 분류
R-CNN
[리드] 영상 내 사물 인식
[정의] 입력 영상 내 사물 인식을 위해 사물의 영역 탐지 및 사물 특징 추출, 분류 CNN 기반 신경망 알고리즘
[수행절차]
1. 이미지 입력
2. Region Proposal 추출(Selective Search), 사례) 2000개 정도
3. Cropping(자르기), Warping(크기 동일화), Feature 추출
4. 각 Region Proposal Feature 대한 분류 수행
[알고리즘]
- Sliding Window : 전체 영역 탐색
- Edge Boxes : 탐지 영역수 감소
- Selective Search : 픽셀 통합, Low Level Feature 기반
- Bounding-Box Regression : 위치 변환, 탐지된 영역의 사물 중앙화
[한계점/해결방안]
- 탐색 영역 마다 CNN 수행하므로 연산시간 과다 소요 (2000 영역 → 2000번 CNN수행)
- SPP-net 기반 Fast RCNN, CNN 선 수행(1회) 후 SPP/Rol 기반 Pooing
Faster R-CNN
[리드] Realtime의 Object 인지
* Selective Search를 RPN에서 수행
[알고리즘]
1. CNN 2.RPN 3.ROI Pooling Layer 4.Softmax&Bounding-Box Regression
YOLO
[정의] 빠른 속도로 객체 탐색 위해 그리드 Bounding box를 통해 최적 객체 탐색 및 분류하는 딥러닝 기반 Fast 객체 탐색 알고리즘
[수행절차]
1. Grid 구성 : Image를 S x S 격자로 구성
2. Bounding Box 초기화 : 객체 경계 결정 알고리즘
3. 객체 중심 위치, box 크기 구분 : CNN 수행
4. box별 신뢰도 계산 후 분류
[주요기술]
- 객체 탐색 기술 : Grid, Bounding Box, Darknet
- 객체 분류 기술 : CNN, Confidence Score(신뢰수치), Class Probability(Loss 기법 기반 분류 예측)
[한계점/대응방안]
- 각 cell은 하나의 클래스만 예측, Training Data 통한 학습만 가능
- Fast R-CNN과 함께 사용하여 보완 가능
RNN
[정의] Directed Cycle, 재귀가중치 통해 은닉층에서 출력층간 데이터의 저장 및 흐름 가능한 MLP구조 신경망 모델
[배경] 피드포워드 한계인 입력 길이가 고정되어 자연어 처리의 한계 발생, RNN 활용
[구조] One to One (기본 RNN 구조), One to Many(이미지 캡션, 이미지→문장), Many to One(감정 분류, 문장→호/불호), Many to Many(기계번역, 비디오 캡션)
[구성요소]
<학습>
- Directed Cycle(하나의 Input 다수 Output), Recurrent Weight(반복 가중치), BPTT 알고리즘(오류역전파 확장, 시간방향 학습), Sequential Data(과거내용 통해 현재의 문맥 이해)
<신경망>
- 입력층(Xt, Sequential Data 입력), 은닉층(활성함수 기반 계산), 출력층 (연산 결과 출력), 활성함수 (tahn 함수, 비선형 함수)
[문제점]
- (문) Vanishing Gradient(기울기 소멸) 문제, 장기 의존성 문제
- (해) GRU, LSTM 알고리즘을 통해 성능 개선, Pointer Network 적용을 통해 복합적 최적화 문제를 해결
* LSTM은 은닉층 Cell에 입력/망각/출력 게이트를 추가하여 은닉층 상태 최적화, GRU는 업데이트/리셋 게이트를 두어 장기 의존성 문제 해결
</신경망></학습>
LSTM
[리드] RNN의 장기 메모리 문제 해결 , LSTM
[정의] 장기 의존성 학습을 할 수 있도록 3개의 gate와 cell-state로 구성된 장기 기억 순환 신경망
[구성요소]
- Cell State : Input, Forget, Output 게이트의 정보 반영
- Forget Gate : 반영 Data를 결정하는 게이트
- Input Gate : 새로운 정보가 Cell State에 저장 여부
- Update Gate : Forget, Input Gate 출력 시 Cell State 갱신
- Output Gate : 출력 값 결정 단계
- 시그모이드 레이어
[비교] LSTM vs GRU
- 목적 : RNN의 장기 의존성 문제 해결 / LSTM의 복잡성 해결
- 구조 : Input, Forget, Output / Update, Reset
- 특징 : 충분한 데이터가 있을 경우 모델링 파워 우수 / 보다 적은 데이터로 학습 가능
GRU
[정의] Reset, Update gate를 통해서 데이터 입출력을 조절하여 긴 시퀀스를 잘 기억하도록 하는 모델
[특징] RNN의 장기 의존성 문제 해결, LSTM의 복잡도 개선
[구성요소]
- Reset gate
- Update gate
- Candidate
- Hidden Layer Calculation
CRNN
[리드] CNN과 RNN의 융합 기술
[정의] 특징 추출과 시계열 모델을 통합하여 이미지에서 시계열 데이터를 인식하는 고성능 학습 모델
[계층요소] 구성도
- CNN : Feature Map, Pooling, Sampling
- RNN : BPTT, LSTM, GRU, 시계열 분석
- Transcription Layer : 예측 Label을 based, free 변환
[기술요소]
- E2E Train : Text Read 전처리 훈련
- Conv Ftrs : Convolution 기반 이미지 학습
- CharGT-Free : Text 수준 Label 입/출력
- Unconstrained : 단어, 임의 Sequence 처리
- Model Size : 학습 모델 저장 공간
경량 딥러닝
[정의] 알고리즘 자체를 적은 연산으로도 효율적으로 동작하도록 설계하는 경량 딥러닝 알고리즘
[필요성] IoT 디바이스 확대, Edge Computing, 지능형 디바이스 Needs
[경량화 기술]
- 알고리즘 경량화 : 경량 딥러닝 알고리즘 (모델 구조변경, 자동 모델 탐색)
- 파라메터 경량화 : 알고리즘 경량화 (모델 압축, 지식증류)
[경량 딥러닝 알고리즘] 알고리즘 자체를 적은 연산과 효율적인 구조로 설계하여, 기존 모델의 정확도는 최대한 유지하면서 기존 모델 대비 효율을 극대화하기 위한 딥러닝 경량화 기술
[경량 딥려인 알고리즘 종류]
- 레즈넷 : 최적의 H(x) 찾는 문제에서 문제의 정의를 바꾸어 파라메터 없이 바로 연결
- 스퀴즈넷 : 3X3 합성곱 필터를 1X1으로 대체
- 덴스넷 : 기존 feature map을 쌓아가는 기법
- 모바일 넷 : 기존 합성곱 필터를 채널 단위로 먼저 합성곱, 그 결과를 하나의 픽셀에 대하여 합성곱 나눔
경량 딥러닝 알고리즘
[정의] 알고리즘 자체를 적은 연산으로도 효율적으로 동작하도록 설계하는 경량 딥러닝 알고리즘
[필요성] IoT 디바이스 확대, Edge Computing, 지능형 디바이스 Needs
[경량화 기술]
- 알고리즘 경량화 : 경량 딥러닝 알고리즘 (모델 구조변경, 자동 모델 탐색)
- 파라메터 경량화 : 알고리즘 경량화 (모델 압축, 지식증류)
[경량 딥러닝 알고리즘] 알고리즘 자체를 적은 연산과 효율적인 구조로 설계하여, 기존 모델의 정확도는 최대한 유지하면서 기존 모델 대비 효율을 극대화하기 위한 딥러닝 경량화 기술
[경량 딥려인 알고리즘 종류]
- 레즈넷 : 최적의 H(x) 찾는 문제에서 문제의 정의를 바꾸어 파라메터 없이 바로 연결
- 스퀴즈넷 : 3X3 합성곱 필터를 1X1으로 대체
- 덴스넷 : 기존 feature map을 쌓아가는 기법
- 모바일 넷 : 기존 합성곱 필터를 채널 단위로 먼저 합성곱, 그 결과를 하나의 픽셀에 대하여 합성곱 나눔
MLP Mixer
[정의] 컴퓨터 비전을 위한 MLP만으로 구성된 딥러닝 모델
