dvpzeekke

Coursera에서 진행되는 Andrew Ng 교수님의 Machine Learning 강의를 수강한 후 정리한 내용입니다. Cost Function Neural Network의 cost function을 배우기 전에 Neural Network의 classification을 복습해보도록 하겠습니다. 먼저 Binary classification은 y의 output unit이 1개입니다. 또, output unit y가 가지는 값은 0 혹은 1입니다. Multi-class classification은 output units이 k개, 즉 2개 이상입니다. 따라서, y가 k차원의 행렬이 됩니다. 이전 게시물 마지막 파트에서 공부했던 것과 같이 Multi-class classification은 output 행렬의 ..

Coursera에서 진행되는 Andrew Ng 교수님의 Machine Learning 강의를 수강한 후 정리한 내용입니다. Non-linear Hypotheses 위 사진처럼 데이터가 분포해있을 경우, non-linear boundary classification이 필요합니다. 하지만, boundary를 만들기 위해서 logistic regresion을 이용할 경우 매우 비효율적 결과가 나타납니다. 한 예로 100개의 feature가 있는 상황에서 2차항들을 포함하도록 했을 때 hypothesis를 거친 새로운 feature의 개수는 5,050개가 됩니다. 이와 같은 hypothesis는 O(n^2)로 매우 많은 시간이 소요될 뿐만 아니라 overfitting 될 수 있습니다. Model Represen..