Neural Network Bias

• 뉴럴 네트워크에서의 의미
  • bias는 bias neuron을 의미하기도 하고 편향을 의미하기도 한다.
• Bias Neuron
  • bias neuron은 뉴럴 네트워크의 각 레이어에 추가되는 특별한 뉴런이다.
  • 간단한 변수를 저장하고 이를 통해 Activation Function의 그래프를 왼쪽이나 오른쪽으로 이동시키는 것과 같은 효과를 얻을 수 있다.
• Bias VS Variance
  • Bias와 Variance는 신경망을 포함한 모든 유형의 기계 학습에 중요한 통계 개념이다.
  • Definition
    • Bias : 높은 bias는 모델이 학습 데이터셋에 'fitting'되지 않았음을 의미한다. 반대로 낮은 bias는 모델이 학습 데이터셋을 잘 학습하였음을 의미한다.
    • Variance : 높은 Variance는 모델이 검증 데이터셋에서 정확한 예측이 불가능함을 의미하며, 낮은 Variance는 모델이 학습 데이터셋으로 부터 성공적으로 추출하여 학습였음을 의미한다.
    • Overfitting : High Bias + High Variance = 학습 데이터셋에 지나치게 'fitting'되어 새로운 데이터에 대한 예측의 정확성이 떨어지는 것을 의미한다.
    • Underfitting : Low Bias + High Variance = 학습 데이터셋으로 부터 Weight를 충분히 학습하지 못하였음을 의미한다. 따라서 학습 데이터셋에 대해서도 정확한 예측이 불가능하다.