6장. 2개의 층을 연결합니다 - 다층 신경망

Do it! 정직하게 코딩하며 배우는 딥러닝 입문을 읽고 정리

배치 경사 하강법

지금까지 사용했던 경사 하강법은 알고리즘 1번 반복 시 1개의 샘플을 사용했다.
이 것을 확률적 경사 하강법이라고 한다.

확률적 경사 하강법은 손실함수의 전역 최솟값을 불안정하게 찾아간다.
반면 배치 경사 하강법은 손실함수의 전역 최솟값을 안정적으로 찾아간다.
그러나 학습에 소요되는 시간이 오래 걸리는 것이 단점이다.

벡터화된 연산

학습 데이터들은 대부분 2차원 이상의 행렬 데이터로 이루어져 있다.
2차원의 경우 행을 샘플, 열을 특성으로 생각할 수 있다.
텐서플로와 같은 머신러닝 도구들은 행렬 계산을 빠르게 할 수 있다는 장점을 가지고 있다.

import numpy as np

x = np.array([1,2,3,4])
w = np.array([5,6,7,8])
# z = wx+b라고 할 때
# wx = [1*5, 2*6, 3*7, 4*8]
z = np.sum(x*w)+b   #입력과 가중치를 곱한 값들을 모두 더함