기초_개념
-
Multi Dimension Feature Space기초_개념/Machine_Learning 2020. 12. 30. 18:46
Feature Space 관측 값들이 있는 공간을 의미하며, 여러 차원으로 구성될 수 있다. 만약 특징 변수가 N 개라면 N 차원의 특징 공간을 갖는다. Curse of Dimensionality 우리가 직관적으로 이해할 수 있는 차원의 한계는 3차원 정도일 것이다. 하지만, 실제 머신러닝과 딥러닝에서 사용되는 데이터의 특징 공간은 큰 차원으로 표현된다. 차원의 저주 : 학습 데이터 각각이 수천 수백만 개의 Feature를 가지고 있을 때 훈련이 느리게 할 뿐만 아니라, 최적의 솔루션을 찾기 어렵게 만드는 현상 고차원으로 갈수록 전체 공간에서 데이터가 차지하는 공간이 매우 미비해진다. 즉, 새로운 데이터도 학습 데이터와 멀리 떨어져 있을 가능성이 높다. = 차원이 커질 수록 예측이 불안정해진다. = 특징..
-
Neural Network Bias기초_개념/Deep Learning 2020. 12. 26. 23:58
뉴럴 네트워크에서의 의미 bias는 bias neuron을 의미하기도 하고 편향을 의미하기도 한다. Bias Neuron bias neuron은 뉴럴 네트워크의 각 레이어에 추가되는 특별한 뉴런이다. 간단한 변수를 저장하고 이를 통해 Activation Function의 그래프를 왼쪽이나 오른쪽으로 이동시키는 것과 같은 효과를 얻을 수 있다. Bias VS Variance Bias와 Variance는 신경망을 포함한 모든 유형의 기계 학습에 중요한 통계 개념이다. Definition Bias : 높은 bias는 모델이 학습 데이터셋에 'fitting'되지 않았음을 의미한다. 반대로 낮은 bias는 모델이 학습 데이터셋을 잘 학습하였음을 의미한다. Variance : 높은 Variance는 모델이 검증 데..
-
Gradient Descent & BackPropagation기초_개념/Deep Learning 2020. 12. 23. 01:06
Gradient Descent를 학습하기 전에 2021/01/13 - [기초_개념/Deep Learning] - 수치 미분과 기울기를 먼저 읽는 것을 추천 드립니다. Gradient Descent Cost 함수를 최소화하는 파라미터를 찾기 위한 알고리즘으로 파라미터를 찾는 과정을 학습한다고 한다. Cost 함수를 3차원으로 그려보면 몇 개의 봉우리가 있는 그래프가 나오며 Gradient Descent를 통해 경사면을 따라서 하강하게 된다. 이때, 시작점의 위치에 따라 다른 경로로 다른 최저점에 도달하게 된다. 이 최저점을 Local Optimum 혹은 Local Minimum이라 한다. Gradient Descent는 반드시 Local minimum에 도달할 수 있지만 Global Minimum에 도착한..
-
Activation Function기초_개념/Deep Learning 2020. 12. 23. 00:52
Activation Function 뉴럴 네트워크의 출력을 결정하는 수학적 방적식으로 네트워크의 각 뉴런에 적용되어 해당 뉴런을 활성화를 결정한다. 각 뉴런의 결과값을 [ 0 , 1 ] or [ -1 , 1 ] 사이의 값으로 정규화하는 역할도 한다. 많은 수의 뉴런에 걸쳐 계산되기 때문에 계산 효율성이 뛰어나야 한다. 역할 뉴런이 입력을 받아 다음 레이어로 출력을 전달하기 위한 관문(Gate)의 역할을 한다. rule 혹은 Threshold에 의해 뉴런의 활성화 유무를 결정할 수 있으며, 입력 시그널을 매핑된 출력 시그널로 변형하는 역할이 가능하다. 뉴럴 네트워크에서는 non-linear activation function을 사용한다. 이유 네트워크가 복잡한 데이터를 학습할 수 있도록 한다. - (i) ..
-
면접 대비 알고리즘 기초 정리기초_개념/CS 2020. 12. 18. 01:09
선택 정렬 ( Selection Sort ) 순차적으로 가장 작은 수를 선택하고 이를 반복 교환하는 정렬 시간복잡도 : O(n^2) 삽입 정렬 ( Insertion Sort ) 자기 보다 작은 수가 나올 때 까지 오른쪽으로 밀어 삽입하는 정렬 시간복잡도 : O(n^2) 버블 정렬 ( Bubble Sort ) 좌측 값이 자기 보다 크면 교환하는 정렬 시간복잡도 : O(n^2) 쉘 정렬 ( Shell Sort ) 작은 수가 나올 때 까지 간격 만큼 우로 밀어 삽입하는 정렬 시간복잡도 : 최악의 경우 O(n^2) 간격 : Hn = 3*H(n-1) + 1 // n = 데이터 수 반복 간격 H를 구한다. 간격 H에 위치한 요소끼리 정렬을 실시한다. 간격 H를 절반으로 줄인다. [ 간격 H가 홀수일 경우 +1 ] ..
-
면접 대비 CS 기초 정리기초_개념/CS 2020. 12. 16. 23:26
OS 운영체제 하드워어 자원들을 관리하는 프로그램들의 집합 응용프로그램들을 위한 System service provider 하드웨어와 응용프로그램들을 이어주는 연결부 운영체제의 서비스에 접근하기 위한 인터페이스 = 시스템 콜 커널 운영체제의 핵심이 되는 프로그램 중 하나로 시스템의 모든 것을 통제한다. 커널은 부팅하는 동안 메모리를 로드하는 운영체제의 첫 부분이다. Kernel은 컴퓨터의 전체 세션동안 메모리에 남아있으며, 운영 체제의 다른 부분 및 응용 프로그램 수행에 필요한 서비스 제공 역할 보안 / 자원 관리 / 추상화 운영체제는 소프트웨어 자원 뿐만 아니라 주변 기기를 포함한 하드웨어 또한 관리한다. 전력 문제, 프린터 용지 부족, 네트워크 연결 실패 등의 에러 처리를 담당한다. Command i..