Molybdenum의 개발기록

딥러닝 학습방법 1) 적절한 네트워크 선택 - 구조(struncture) : 입력값의 형태 - 비선형성(nonlinearity) 획득방법 : ReLu vs tanh, etc 2) gradient 확인 : 네트워크 구축 시 그래디언트 설정이 잘 되었는지 확인 3) 학습 파라미터 초기화 : 초기화 방법에도 여러가지가 있으므로 적절히 선택한다. 4) 학습 파라미터 최적화 : 경사하강법(GD, SGD, Adam 등) 5) 과적합 방지 : 드롭아웃, 정규화 등 출력층에서 활성화 함수 - 분류에 사용되는 활성화 함수 = Sigmoid, Softmax 함수 : 모든 입력 신호로부터 영향을 받음 - 회귀에 사용되는 활성화 함수 = 항등함수(identify function) : 계산된 값을 그대로 출력 Keras : t..