[인공지능/혼공머신] 07-1. 인공 신경망 (1)

🚩 딥러닝과 인공 신경망 알고리즘을 이해하고 텐서플로를 사용해 간단한 인공 신경망 모델을 만들어 봅시다.

 

패션 MNIST 데이터셋 👕

딥러닝에서는 MNIST 데이터셋이 유명합니다.

📌 MNIST : 손으로 쓴 숫자(0~9)들로 이루어진 대형 데이터베이스

MNIST 예시

📍 텐서플로

특히, 패션 MNIST 데이터는 워낙 유명하기 때문에 다양한 라이브러리가 있는데,

이 중 텐서플로(TensorFlow)라는 라이브러리를 사용해 이 데이터를 불러오겠습니다!

이해를 돕기 위한 패션 MNIST 데이터셋 예시

 

📍 케라스

우리가 이용할 데이터셋은 10종류의 패션 아이템으로 구성되어 있습니다. 

그럼, 텐서플로의 케라스 패키지를 임포트한 후, 패션 MNIST 데이터를 다운로드합니다.

📌 케라스 keras.datasets.fashion_mnist 모듈의 load_data() : 훈련 데이터와 테스트 데이터를 나누어 반환

from tensorflow import keras
(train_input, train_target), (test_input, test_target) =\
  keras.datasets.fashion_mnist.load_data()

데이터셋 다운로드

 

다운로드 받은 데이터는 옆 폴더 아이콘을 클릭해서 확인할 수 있습니다.

다운로드 받은 데이터 확인

데이터의 크기도 확인하겠습니다~_~

훈련 데이터 크기 확인

훈련 데이터 중 입력은 60,000개의 이미지로, 각 이미지는 28x28 크기입니다.

훈련 데이터 중 타깃도 60,000개의 원소가 있는 1차원 배열인 것을 확인할 수 있네요~!

▶️ 훈련 데이터는 60,000개

테스트 데이터 크기 확인

테스트 데이터 중 입력은 10,000개의 이미지로, 각 이미지는 28x28 크기

테스트 데이터 중 타깃도 10,000개의 원소가 있는 1차원 배열

▶️ 테스트 데이터는 10,000개

 

📍 데이터 그림으로 출력

맷플롯립 라이브러리로 훈련 데이터에서 몇 개의 샘플을 그림으로 출력해보겠습니다!

📌 맷플롯립의 subplots() : 한번에 여러 개의 그래프 그리기 (figure 와 axes 를 반환)
📌 figure : 그래프가 그려지는 프레임 (subplot 은 그래프이고, 한 figure 안에 여러 개의 그래프를 그릴 수 있음)
📌 axes : 실제 데이터가 그래프로 그려지는 캔버스

ex) fig, axs = plt.subplots(2,2) : 4개(2x2)의 ax들을 가지는 하나의 figure 생성

참고

import matplotlib.pyplot as plt

fig, axs = plt.subplots(1, 10, figsize=(10, 10))
for i in range(10):
  axs[i].imshow(train_input[i], cmap="gray_r")
  axs[i].axis("off")
plt.show()

샘플 일부 출력

 

📍 타깃 구성

패션 MNIST의 타깃은 각각 0~9까지의 숫자 레이블로 되어 있고, 각 숫자마다 아래와 같이 구성됩니다. (10개 분류)

Label		|0	|1	|2	|3	|4	|5	|6	|7	  |8	|9
Description	|티셔츠	|바지	|스웨터	|드레스	|코트	|샌달	|셔츠	|스니커즈 |가방	|앵클 부츠

 

그럼 위 그림 샘플의 타깃값을 출력해보겠습니다.

타깃 숫자 레이블

숫자 5로 같은 마지막 2개 샘플이 보이네요!

즉, 마지막 2개 샘플은 위 사진에서 봤을 때 같은 종류의 신발(샌달)인 것을 확인할 수 있습니다.

 

또한, 각 레이블마다의 샘플 개수를 출력해보니 6,000개의 샘플이 들어있는 것을 확인할 수 있습니다.

 

 

📌 로지스틱 회귀로 패션 아이템 분류하기

💡 해당 훈련 샘플은 60,000개나 되었죠..! 이렇게 데이터 개수가 많으면, 전체 데이터를 한꺼번에 사용하여 모델을 훈련하는 것보단 샘플을 하나씩 꺼내서 훈련하는 방법이 효율적입니다.

✨ 샘플을 하나씩 꺼내서 훈련한다..?! 확률적 경사 하강법이 딱이네요! 그렇기에 4장에서 배운 SGDClassifier 를 사용할 예정이고, 4장과 관련된 내용은 아래를 참고해주세요.😁

[인공지능/혼공머신] 04-2. 확률적 경사 하강법 (1)

 

📍 샘플 준비하기

📍04 장 리마인드 !

• SGDClassifier 클래스의 loss 매개변수를 'log'로 지정하였습니다.
  • 🤔 이유는? 로지스틱 손실 함수를 최소화하는 확률적 경사 하강법 모델을 만들기 위해서 입니다.
• 표준화 전처리된 데이터를 사용했습니다.
  • 🤔 이유는? 확률적 경사 하강법은 여러 특성 중 기울기가 가장 가파른 방향을 따라 이동하니까, 만약 특성마다 값의 범위가 많이 다르면 올바르게 손실 함수의 경사를 내려올 수 없기 때문입니다.

 

💡 그렇다면 패션 MNIST 데이터를 이용하여 모델을 만들기 위해, 패션 MNIST 데이터를 표준화 전처리하는 방법은?

패션 MNIST의 경우 각 픽셀은 0~255 사이의 정숫값을 가집니다. 그렇다면, 255로 나누어 0~1 사이의 값으로 정규화합니다.
(참고) 표준화는 아니지만, 양수값으로 이루어진 이미지를 전처리할 때 널리 사용되는 방법입니다.

💡 SGDClassifier 는 2차원 입력을 다루지 못하기 때문에, 현재 2차원 배열인 각 샘플을 1차원 배열로 펼쳐야 합니다.

28x28 이미지를 펼쳐서 길이가 784인 1차원 배열로 만듭니다.

 

train_scaled = train_input / 255.0
train_scaled = train_scaled.reshape(-1, 28*28) # 첫 번째 차원(샘플 개수)은 변하지 않고 원본 데이터의 두 번쨰, 세 번쨰 차원이 1차원으로 합쳐짐

train_scaled의 크기 확인

784개의 픽셀로 이루어진 60,000개의 샘플이 준비되었습니다! 성능을 확인해보겠습니다.

 

📍 성능 확인

SGDClassifier 클래스와 cross_validate() 를 이용해 준비된 샘플에서 교차 검증으로 성능을 확인합니다.

 

• SGDClassifier 클래스의 loss 매개변수를 'log'로 지정합니다.

🤔 현재 문제는 10개 클래스(0~9)를 분류하는 다중 분류 문제인데, 왜 로지스틱 손실 함수(이진 크로스엔트로피 손실 함수 : 이진 분류에서 사용하는 손실 함수) 쓰는 건가요?

💡 사이킷런 SGDClassifier에 로지스틱 손실 함수는 있지만, 크로스엔트로피 손실 함수(다중 분류에서 사용하는 손실 함수)를 지정할 곳이 없습니다.

🤔 그럼 로지스틱 손실 함수를 어떻게 처리하나요?

💡(아래 그림)

로지스틱 회귀로 다중 분류 수행하는 과정 요약

📍(참고용) 04장 로지스틱 회귀로 다중 분류 수행하기 리마인드

클래스마다 선형 방정식을 만들어 z값을 하나씩 계산

💡 즉, 이진 분류든 다중 분류든 상관 없이 SGDClassifier 클래스의 loss 매개변수를 'log'로 지정하면 각 분류에 맞게 훈련이 됩니다.

from sklearn.model_selection import cross_validate
from sklearn.linear_model import SGDClassifier

sc = SGDClassifier(loss="log", max_iter=5, random_state=42) # 반복 횟수 5번 (횟수 늘려도 성능 향상은 미미함)
scores = cross_validate(sc, train_scaled, train_target, n_jobs=-1)

성능 평균값 확인

정확도 82%라니! 성능이 안 좋네요. 😐

성능을 향상시키는 과정을 이해하기 위해! 우선 로지스틱 회귀 공식에 대해 리마인드 할 필요가 있습니다.

 

📍04 장 리마인드 !

• 로지스틱 회귀 공식
  z = a x (무게) + b x (길이) + c x (대각선 길이) + d x (높이) + e x (너비) + f

💡 로지스틱 회귀 공식을 패션 MNIST 데이터에 맞게 변형하면?

• 총 784개의 픽셀, 즉 784개의 특성이 있음
• 각 레이블(0~9)마다 방정식을 세움
• ✨ 주의! 각 레이블마다 가중치와 절편은 다른 값을 사용해야 함.
  🤔 왜? 레이블 모두 같은 가중치를 사용한다면 구분할 수 있을 리가 없겠죠! 
  • [레이블 0] z_티셔츠  = w1 x (픽셀1) + w2 x (픽셀2) + ... + w784 x (픽셀784)  + b
  • [레이블 1] z_바지 = w1' x (픽셀1) + w2' x (픽셀2) + ... + w784' x (픽셀784)  + b'
  • ...

패션 MNIST 데이터 클래스에 대한 방정식 계산

 

▶️ 4장에서 배웠던 것처럼,,! 10개의 클래스(티셔츠, 바지, ...)에 대한 선형 방정식을 모두 계산(z_티셔츠, z_바지, ...)한 다음 소프트맥스 함수를 통과하여 각 클래스에 대한 확률을 얻을 수 있습니다~! 🦕🦕

 

지금까지 확률적 경사 하강법을 사용하는 로지스틱 회귀에 대해 복습을 했습니다.

그런데! 가장 기본적인 인공 신경망은 로지스틱 회귀와 같다는 사실..!!! 😁

 

다음 글에서 인공 신경망에 대해 이어 작성하겠습니다!