1. 매개변수 최적화 매개변수 최적화(Optimization)의 뜻은 학습(예측) 모델과 실제 값의 차이가 손실함수로 표현될 때 손실함수의 값을 최소화하도록 하는 매개변수, 즉 가중치와 편향을 찾는 매개변수의 최적값을 탐색하는 과정이라고 할 수 있다. (1) 확률적 경사 하강법(SGD : Stochastic Gradient Descent) 확률적 경사 하강법은 손실함수의 기울기를 따라 조금씩 아래로 내려가다 최종적으로 손실함수가 가장 작은 지점에 도달하도록 하는 알고리즘이다. - 데이터 전체를 선택하는 배치 경사 하강법 대비 랜덤으로 선택한 하나의 데이터로만 계산하는 단순하고 명확한 구조가 장점이나 최소값인 (0,0)까지 지그재그로 이동, 매개변수가 방향에 따라 다른 기울기를 갖는 비등방성 함수인 경우 ..