기초_개념/Deep Learning
-
Gradient Descent & BackPropagation기초_개념/Deep Learning 2020. 12. 23. 01:06
Gradient Descent를 학습하기 전에 2021/01/13 - [기초_개념/Deep Learning] - 수치 미분과 기울기를 먼저 읽는 것을 추천 드립니다. Gradient Descent Cost 함수를 최소화하는 파라미터를 찾기 위한 알고리즘으로 파라미터를 찾는 과정을 학습한다고 한다. Cost 함수를 3차원으로 그려보면 몇 개의 봉우리가 있는 그래프가 나오며 Gradient Descent를 통해 경사면을 따라서 하강하게 된다. 이때, 시작점의 위치에 따라 다른 경로로 다른 최저점에 도달하게 된다. 이 최저점을 Local Optimum 혹은 Local Minimum이라 한다. Gradient Descent는 반드시 Local minimum에 도달할 수 있지만 Global Minimum에 도착한..
-
Activation Function기초_개념/Deep Learning 2020. 12. 23. 00:52
Activation Function 뉴럴 네트워크의 출력을 결정하는 수학적 방적식으로 네트워크의 각 뉴런에 적용되어 해당 뉴런을 활성화를 결정한다. 각 뉴런의 결과값을 [ 0 , 1 ] or [ -1 , 1 ] 사이의 값으로 정규화하는 역할도 한다. 많은 수의 뉴런에 걸쳐 계산되기 때문에 계산 효율성이 뛰어나야 한다. 역할 뉴런이 입력을 받아 다음 레이어로 출력을 전달하기 위한 관문(Gate)의 역할을 한다. rule 혹은 Threshold에 의해 뉴런의 활성화 유무를 결정할 수 있으며, 입력 시그널을 매핑된 출력 시그널로 변형하는 역할이 가능하다. 뉴럴 네트워크에서는 non-linear activation function을 사용한다. 이유 네트워크가 복잡한 데이터를 학습할 수 있도록 한다. - (i) ..