Neural Network architectures

Layer-wise organization

- 뉴럴 네트워크는 비순환 그래프로 연결된 뉴런들의 집합으로 모델링 된다.

- 뉴럴 네트워크는 비정형 덩어리로 구성되는 것이 아닌 특정한 층을 갖는 구조로 구성된다.

- 가장 일반적인 타입의 뉴럴 네트워크는 Fully Connected layer 이며 두 인접 층 사이의 뉴런은 완전히 쌍으로 연결되어 있는 구조를 나타내며 같은 층에 위치한 뉴런 사이에는 어떠한 연결도 존재하지 않는다.

그림 1 [출처 : https://cs231n.github.io/neural-networks-1/#actfun]

- N 층의 뉴럴 네트워크에서 입력 층은 N에 포함되지 않는다. 예를 들어 single-layer는 입력층과 출력층만 갖는다.

- 'logistic regression' or 'SVM'이 대표적인 single-layer Neural Network이다.

- Sizing Neural Network 

• 그림 1 (Left) : [3x4] + [4x2] = 20 weights and 4+2 = 6 bias --> 26 learnable parameters
• 그림 1 (Right) : [3x4] + [4x4] + [4x1] = 32 weights and 4+4+1 = 9 bias --> 41 learnable parameters