패스트캠퍼스 환급챌린지 20일차 미션 (2월 20일) : 딥러닝·인공지능 Signature 초격차 패키지 Online. 강의 후기

 

자, 오늘은 

 

Part1. 딥러닝을 시작하기전에

CH05-06. Inception(2)

&

CH05-07. ResNet

 

 

 

CH05-06. Inception(2)

일단, 버틀렉 스트럭쳐를 적용했을 때 차원을 축소 할 수있다고 하였는데,

 

 

파워를 좀 더효율적으로, 메모리를 절약해서 쓸 수 있는데, 수치적으로 얼마만큼 개선되는지 확인해보자.

 

왼쪽은 나이브 인셉션 / 우측은 바틀넥 스트럭쳐다. 이때 원바이원 컨볼젼을 껴 넣었지. 

 

그래서 이미지 상단에 보이는 것처럼 왼쪽에서 필요한 메모리의 값은 672가 된다. 

반면, 우측의 버틀넥 구조는 동일한 인풋에 대해 출력 채널을 64개로 줄이고, 채널수와 동일하게 설정을 하고 최종적으로 필요한 것을 보니까 480개가 필요하다.(훨씬 적은 형태의 메모리, 동일한 형태의 아웃풋)

 

연산량도 한번 살펴보자.

적용을 해보면 

 

 

놀랍게도 연산량도 엄청 줄어든다.

 

추가적으로  구글넷의 가장 큰 특징중 하나가 학습분류기가 있다.

 

 

신경망을 깊게 쌓게 되면 이전에 학습했던 것을 종종 까먹는다는 단점을 가지고 있는데,

백프로파게이션 과정에서 역전파가 제대로 되지않아 학습이 안되는 과정들이 있었는데,

 

보조기들을 중간 중간에 달아줌으로써 중간에 역전파가 잘 안될 때 여기서 추가적으로 값을 넘겨줄 수 있도록

신경망을 설계하였음.

 

학습할때만 사용하고 추론할때는 작동하지 않는다. 끗!

 

구글넷에 대해 마지막으로 정리한번 해보자.

 

구글넷은 인셉션이다

이 인셉션은 ① 병렬의 필터를 concatenation + ② Bottlenect architecture(원바이 원 콘불류션 사용)

이렇게 2가지의 큰 특징을 가진다.

 

단순히 레이어를 쌓아 올리는 구조가 아닌, 모듈/블록 구조를 사용

 

 

CH05-07. ResNet

드디어 ResNet 까지 왔다. 사람보다 잘 찾는다는 ResNet은 무엇일까?

 

ResNet은 깊은 신경망 학습이 가능하게 하는 Skip Connection 구조 + Batch Normalization을 적용

 

레즈넷의 여러 특징들이 있는데,

 

① 분류기 학습을 위한 FC(Fully Connected)를 사용하지 않고, GAP(Global Average Pooling)을 수행한다.

     이 말이 무슨 말이냐면, 앞서 설계했던 피쳐 익스트랙션의 결과를 그냥 단순히 통합하는 것만으로도

     (별도의 분류기 학습 없이) 들어온 이미지를판별 할 수 있다는 것이다.

 

② 자 그러면 질문, 위에서 본 구글넷은 22개 층을 쌓아서도 학습이 잘 되지 않아서 보조기를 달았는데,

     얘는 152개의 층이 있는데 보조기 형태를 띈 무언가를 단게 없니?
     ▶ 네 전혀 없습니다. 스킵 커넥션으로 모든게 가능

 

 

Skip Connection

 

위에서 보이는 것과 같이 Skip Connection은 레이어의 입력을 레이어의 출력에 바로 연결하는 것이다.

 

오른쪽이 이 스킵 커넥션인데,

 

우리가 학습노드에 들어간 후 최종적으로 나오는 값은 F(X)가 대부분인데, 입력값인 x를 한번 더 더한 값을 가지게 된다.

 

피쳐맵은 원본맵을 잘 요약한 요약집 녀석인데, 이 피쳐맵을 다음 학습에 또 사용되고, 또 요약집을 다음 학습에 사용하게 되면서 학습을 효율화 하는 것이다.

 

그러면 이렇게 학습 하다보면 원본데이터가 뭐였지? 우리가 앞서 언급한 그라디언트가 희미해지는 현상이 생기는데, 이를 방지하고자 x라는 원본을 스킵해서 계속 넣어주는 것이다.

 

(놓치고 있는 것들에 대해 다시 한번 학습을 시켜주는 것이다.)

 

최적의 H(x)를 구하는 방법을찾는 것이 학습이다. 이 ResNet에서 잔차를 최소화 하는 방향으로 수행.

 

 

이 레지주얼 효과는 그라디언트 배니싱이 발생하지 않고 학습이 잘 된다는 장점이 있었다.

 

 

Transfer Learning

전의학습이란?

기존에 만들어진 모델을 사용하여 새로운 모델을 만드는 방법이다.

(어떤 학습을 해야할지, 하드웨어에 대한 조건이 많을 때, 등등...)

 

ResNet 을 그대로 지식을 전수 받아서 내가 학습을 하겠다! 라는 의미....(유사한 문제를 해결 할 때 효과적임)

 

 

 

 

 

 

20일차 끝.

 

본 포스팅은 패스트캠퍼스 환급 챌린지 참여를 위해 작성하였습니다.

https://bit.ly/48sS29N