Cross Entropy1 Maximum Likelihood Estimation(MLE)과 Cross Entropy(CE)와의 관계. 결국 같은것이었다. MLE에 대한 내용은 아신다고 가정하고 진행해보겠습니다. 확률분포 내에서 데이터(D)에 대한 N개의 샘플을 먼저 추출하구요. 입력 x를 넣었을 때 출력 y값을 다 더한값이 최대가 되게하는 세타 햇 즉, 랜덤변수를 찾는 것이 MLE의 목표였습니다. 이걸 Negative Log Likelihood(NLL)로 변환하면 식이 다음과 같이 바뀌죠. 그리고 딥 뉴럴 네트워크로 가서 한번 살펴보겠습니다. 가장 왼쪽이 입력 x죠. 그리고 softmax를 거친 y햇이 나옵니다. 이걸 식으로 나타내면 다음과 같습니다. 그리고 Cross Entropy를 볼까요? 앞에 1/N을 제외한 나머지는 똑같습니다. 1/N은 미분하면 사라지게 되구요. 결국 최대의 확률 분포를 찾는 것. 즉, 최소의 Negative Log Likelih.. 2020. 7. 1. 이전 1 다음
