[인공지능/혼공머신] 07-1. 인공 신경망 (3)

🚩 딥러닝과 인공 신경망 알고리즘을 이해하고 텐서플로를 사용해 간단한 인공 신경망 모델을 만들어 봅시다.

 

[인공지능/혼공머신] 07-1. 인공 신경망 (2)

 

인공 신경망으로 패션 아이템 분류하기

케라스 모델은 훈련하기 전에 compile()로 하는 설정 단계가 있습니다.

model.compile(loss="sparse_categorical_crossentropy", metrics="accuracy")

꼭!!! 지정해야 할 것은 ✨손실 함수의 종류✨입니다.

📍 loss = "sparse_categorical_crossentropy"

🤔 categorical_crossentropy

• (참고)이진 분류 : 이진 크로스 엔트로피 손실 함수 사용 loss="binary_crossentropy"
• 다중 분류 : 크로스 엔트로피 손실 함수 사용 loss="categorical_crossentropy"

🤔 sparse

• 이진 크로스 엔트로피 손실을 위해 -log(예측 확률) x 타깃값을 계산합니다.
• 이진 분류에서는 출력층의 뉴런이 하나입니다.
• 이진 분류의 출력 뉴런은 오직 양성 클래스 확률(a)만 출력하기 때문에 음성 클래스 확률은 1-a로 구할 수 있죠.
  또한, 이진 분류의 타깃값은 양성 샘플 1, 음성 샘플 0으로 되어 있죠. 타깃값 0을 곱하면 0이 되기 때문에 음성 샘플은 (1-타깃값)으로 계산합니다.
  ▶️ 즉, 하나의 뉴런만으로 양성, 음성 클래스에 대한 크로스 엔트로피 손실을 모두 계산할 수 있습니다. (아래 그림 참고)

이진 크로스 엔트로피 손실 그림으로 표현

 

• 다중 분류에서 출력층은 10개의 뉴런이 있고, 10개의 클래스에 대한 확률을 출력합니다.
  ex. 첫 번째 뉴런은 티셔츠일 확률 출력
• 이진 분류와 달리, 각 클래스에 대한 확률이 모두 출력되기 때문에 타깃에 해당하는 확률만 남겨 놓기 위해 나머지 확률에는 모두 0을 곱합니다.
  ex. 샘플이 티셔츠일 경우, 첫 번째 뉴런의 활성화 함수 출력인 a1에 크로스 엔트로피 손실 함수를 적용하고 나머지 활성화 함수 출력 a2~a10까지는 모두 0으로 만듭니다. ▶️ [1, 0, ..., 0]
  ▶️ 출력층의 활성화 값의 배열과 위 배열을 곱합니다. [a1, a2, ..., a10] x [1, 0, ..., 0]
  ▶️ 결국, a1만 남겠군요. (아래 그림 참고)

• 즉, 신경망은 해당 샘플에서 손실을 낮추려면 해당 뉴런의 활성화 출력 a 값을 최대한 1에 가깝게 만들어야 합니다!!!
• ▶️ 원-핫 인코딩 : 타깃값을 해당 클래스만 1이고, 나머지는 0인 배열로 만드는 것
• 따라서, 다중 분류에서 크로스 엔트로피 손실 함수를 사용하려면, 아래 그림처럼 현재 정수인 타깃값(0~9)을 그대로 사용할 수 없고, 원-핫 인코딩으로 변환해야 합니다. 

패션 MNIST 데이터의 타깃값

• 그치만 결론적으로, 텐서플로에서는 sparse_categorical_crossentropy을 통해 정수 타깃값을 원-핫 인코딩으로 바꾸어주기 때문에 직접 원-핫 인코딩으로 바꿔주지 않고 사용할 수 있습니다.
  물론, 원-핫 인코딩으로 타깃값을 준비했다면 categorical_crossentropy로 지정합니다.

📍 metrics = "accuracy"

• 케라스는 모델이 훈련할 때 기본으로 에포크마다 손실 값을 출력해 줍니다.
  손실이 줄어드는 것을 보고 훈련이 잘되었다는 것을 알 수 있지만 정확도를 함께 출력하면 더 좋으니까! 정확도 지표를 의미하는 accuracy를 지정합니다.

 

그럼! 훈련해보겠습니다. 😁 에포크 횟수는 5번으로 지정했습니다.

model.fit(train_scaled, train_target, epochs=5)

훈련  (랜덤하게 동작)

에포크마다 걸린 시간과 손실(loss), 정확도(accuracy)를 출력해 주는 것을 확인할 수 있습니다.

5번 반복에 정확도가 86%를 넘었습니다! 그럼 검증 세트로 모델의 성능을 확인해 보겠습니다.

model.evaluate(val_scaled, val_target)

성능 평가 결과

85%의 정확도를 냈습니다.

참고로,, 검증 세트의 점수는 훈련 세트 점수보다 조금 낮은 것이 일반적입니다. fit()처럼요! (아무래도 훈련 세트로 훈련했다보니 훈련 세트에 대해 점수가 높은 게 당연하죠.)

 

 

이렇게 인공 신경망 알고리즘을 사용해 패션 아이템을 분류하는 모델을 잘 훈련했습니다!

감사합니다.. 🦕🦕🦕 )))