[비숍] 5.0 뉴럴 네트워크

---

크리스토퍼 비숍의 ‘패턴 인식과 머신 러닝’을 학습하며 정리한 글입니다. 개인적으로 참고하기 위한 요약노트 성격이다보니 설명이 부실하더라도 양해 바랍니다.

---

5장. 뉴럴 네트워크

1. 피드 포워드 네트워크 함수

• 다층 퍼셉트론이라고도 알려져 있다. 사실은 연속적인 비선형성을 가진 로지스틱 회귀 모델 여러 층이 모인 것
• SVM과 같은 일반화 성능을 가지고 있으면서도 결과 모델이 훨씬 더 작아서 계산이 빠르다
• 단점은 네트워크 훈련의 기반을 이루는 가능도 함수가 모델 매개변수에 대해 볼록 함수가 아니라는 것
• 그럼에도 실무에선 훈련 단계에서 더 많은 계산 자원을 동원해서라도 작은 모델을 구현하는게 유의미한 경우가 많다. 모델이 작으면 새로운 데이터에 대한 처리가 더 빨라지기 때문

2. 네트워크 훈련
3. 오차 역전파
4. 헤시안 행렬
5. 뉴럴 네트워크에서의 정규화
6. 혼합 밀도 네트워크
7. 베이지안 뉴럴 네트워크