KEEP GOING

목차 개요 딥러닝에서 최적화(optimization)란 손실함수(loss function)를 최소화(minimize)하는 파라미터를 찾아가는 과정입니다. 파라미터를 최적화하기 위해서는 데이터를 분할하여 여러 번의 훈련 과정을 거칩니다. 이때 구분이 필요한 개념이 배치(batch size)와 에폭(epoch) 그리고 반복(iteration)입니다. 배치 사이즈(batch size) 한 번의 배치마다 주는 데이터 샘플의 크기 배치(=미니 배치라고도 불림)는 전체 데이터셋을 일정 크기로 분할한 작은 데이터 셋을 의미합니다. 이때 배치 사이즈는 이러한 작은 데이터 셋(=배치)의 크기를 뜻합니다. 예를 들어 500개의 데이터셋이 있을 때, 5번에 걸쳐 학습한다면 배치는 5개이고 배치 사이즈는 100이 됩니다. 그..