[인공지능/혼공머신] 07-1. 인공 신경망 (2)

🚩 딥러닝과 인공 신경망 알고리즘을 이해하고 텐서플로를 사용해 간단한 인공 신경망 모델을 만들어 봅시다.

 

[인공지능/혼공머신] 07-1. 인공 신경망 (1)

 

인공 신경망 (= 딥러닝)

패션 아이템 분류 문제를 인공 신경망으로 표현해보자면, 로지스틱 회귀를 표현한 그림과 매우 비슷합니다.

✨가장 간단한 인공 신경망은 아래와 같이 출력층 1개가 있는 신경망입니다.

패션 아이템 분류 문제를 인공 신경망으로 표현

• 10개의 패션 아이템 클래스 : 10개의 뉴런
• z_티셔츠, z_바지, ... : z1, z2, ...
• 픽셀1, 픽셀2, ... : x1, x2, ...
• z1을 만들기 위해 x1에 곱해지는 가중치 w1,1, z2를 만들기 위해 x1에 곱해지는 가중치 w1,2, ...
  • 각 유닛을 만들기 위해, 각 다른 가중치가 곱해짐.
  • b1, b2, ... 절편은 꼭 더해지긴 하지만, 매번 표기하기 귀찮으니 생략하기도 함

📌 출력층 : z1~z10 을 계산하고 이를 바탕으로 클래스를 예측
📌 입력층 : 입력 데이터 그 자체, 계산 수행 안 함
📌 뉴런 : z 값을 계산하는 단위
▶️ 유닛(unit)이라고 더 많이 불림 (뉴런에서 일어나는 일은 선형 계산밖에 없어서)

 

매컬러-피츠 뉴런

인공 신경망은 1943년 워런 매컬러와 윌터 피츠가 제안한 뉴런 모델로 거슬러 올라갑니다.

이러한 인공 뉴런은 생물학적 뉴런으로부터 영감을 얻었습니다. 물론, 모양만 본뜬 수학 모델에 불과할 뿐!! 서로 하는 일은 다르다는 것!!!

 

짚어가기~

📌 딥러닝 = 인공신경망
심층 신경망(deep neural network, DNN)을 딥러닝이라고 부름
심층 신경망은 여러 개의 층을 가진 인공 신경망

 

 

텐서플로와 케라스

텐서플로는 구글이 2015년 11월 오픈소스로 공개한 딥러닝 라이브러리입니다.

 

🤔 왜 쓰지?

💡 확률적 경사 하강법을 사용한 로지스틱 회귀 모델이 가장 간단한 인공 신경망인데도 불구하고, 성능이 좋지 않았죠! 그럼 이대로 인공 신경망을 만들어도 성능이 좋아지진 않을 것 같습니다.

🤔 그럼 어쩌지?

💡 인공 신경망 모델을 만드는 최신 라이브러리들은 SGDClassifier 에 없는 몇 가지 기능을 제공합니다. 그 중 인기가 높은 딥러닝 라이브러리인 텐서플로를 사용하려 합니다.

 

딥러닝 라이브러리가 다른 머신러닝 라이브러리와 다른 점 중 하나는 그래픽 처리 장치인 GPU를 사용하여 인공 신경망을 훈련한다는 것입니다.

GPU는 벡터와 행렬 연산에 매우 최적화되어 있기 때문에, 곱셈과 덧셈이 많이 수행되는 인공 신경망에 큰 도움이 됩니다.

 

한편, 텐서플로가 공개되기 전에 씨아노라는 딥러닝 라이브러리가 있었습니다. 물론 GPU 연산이 가능했지만 모델 구현이 까다로웠던 탓에, 프랑소와 숄레가 래퍼 라이브러리(Wrapper library)로 케라스라는 딥러닝 라이브러리를 만들었습니다.

즉, 케라스는 직접 GPU 연산을 수행하지 않습니다. 대신 GPU 연산을 수행하는 다른 라이브러리(씨아노)를 백엔드로 사용합니다.

더 나아가 씨아노 말고도, 여러 다른 라이브러리 중 하나가 텐서플로라는 것이죠!!! 이러한 케라스를 멀티-백엔드 케라스라고 부릅니다.

▶️ 케라스 API만 익히면 다양한 딥러닝 라이브러리를 마음대로 골라서 쓸 수 있다는 말씀! 그래서, 이를 위해 케라스는 직관적이고 사용하기 편한 고수준 API를 제공합니다.

 

🤔 그럼 왜 텐서플로와 케라스가 거의 동의어가 되었을까?

💡 프랑소와가 구글에 합류한 뒤 텐서플로 라이브러리에 케라스 API가 내장되었습니다. 텐서플로 2.0부터는 케라스 API를 남기고 나머지 고수준 API를 정리했고, 결국 케라스는 텐서플로의 핵심 API가 된 것입니다. 다양한 백엔드를 지원했던 멀티-백엔드 케라스는 2.3.1 버전 이후로 개발을 중지했습니다.

▶️ 텐서플로 쓴다 -> 케라스 API 쓴다

 

import tensorflow as tf
from tensorflow import keras

 

 

📌 인공 신경망으로 모델 만들기

케라스 API 를 사용해서 패션 아이템을 분류하는 가장 간단한 인공 신경망을 만들어봅시다!

 

로지스틱 회귀에서는 교차 검증을 사용해 모델을 평가했지만, 인공 신경망에서는 교차 검증을 잘 사용하지 않고 검증 세트를 별도로 덜어내어 사용합니다.

🤔 왜?

💡 1. 딥러닝 분야의 데이터셋은 충분히 크기 때문에 검증 점수가 안정적이어야 함.
      2. 교차 검증을 수행하기에는 훈련 시간이 너무 오래 걸림.

from sklearn.model_selection import train_test_split
train_scaled, val_scaled, train_target, val_target = train_test_split(
	train_scaled, train_target, test_size=0.2, random_state=42)

 

훈련 세트에서 20%를 검증 세트로 덜어 냈습니다! 크기를 볼까요?

훈련 세트, 검증 세트 크기

60,000개 중에 12,000개가 검증 세트로 분리되었습니다.

그럼 이제, 훈련 세트로 모델을 만들고 검증 세트로 훈련한 모델을 평가해보겠습니다.

 

먼저, 인공 신경망 그림의 오른쪽에 놓인 층을 만들어 보겠습니다!

이 층은 아래처럼 10개의 패션 아이템을 분류하기 위해 10개의 뉴런으로 구성됩니다.

10개의 패션 아이템을 분류하기 위한 인공 신경망

📍밀집층(deep layer)

케라스의 레이어 패키지 안에는 다양한 층이 있습니다. 가장 기본이 되는 층은 밀집층입니다.

아래와 같이 왼쪽에 있는 각 픽셀과 오른쪽에 있는 뉴런이 모두 연결된 선이 있다고 했을 때,,, 매우 빽뺵하죠!

픽셀 개수 x 뉴런 개수 = 연결된 선 개수

▶️ 우리 예제로는, 784 x 10 = 7,840

출처 : http://wiki.hash.kr/index.php/%EC%88%9C%EC%A0%84%ED%8C%8C

 

📍완전 연결층 (fully connected layer)

이런 층을 양쪽의 뉴런이 모두 연결하고 있기 때문에 완전 연결층이라고도 부릅니다.

📌 케라스의 클래스 Dense : 밀집층 만듦
- 매개변수
01. 뉴런 개수
02. activation : 뉴런의 출력에 적용할 함수,
03. input_shape : 입력의 크기

dense = keras.layers.Dense(10, activation="softmax", input_shape=(784,))

• 10개의 패션 아이템을 분류하기 위해 뉴런 개수를 10개로 지정합니다.
• 10개의 뉴런에서 출력되는 값을 확률로 바꾸기 위해 소프트맥스 함수(다중 분류)를 사용합니다.
  참고) 만약 2개의 클래스를 분류하는 이진 분류라면 시그모이드 함수를 사용합니다.  activation="sigmoid"
• 10개의 뉴런이 각각 몇 개의 입력을 받는지 튜플로 지정합니다.

 

이렇게 신경망 층을 만들었네요!! 이제 이 밀집층을 가진 신경망 모델을 만들어줍니다.

📌 케라스의 클래스 Sequential : 신경망 모델 만듦

model = keras.Sequential(dense)

신경 모델망

📍활성화 함수

• 소프트맥스와 같이 뉴런의 선형 방정식 계산 결과에 적용되는 함수
• a로 표기

 

이렇게 신경망 모델까지 만들었습니다! 이제 훈련을 해야겠죠 😁

그럼 다음 글에선 케라스 모델을 훈련시킨 후, 패션 아이템을 분류해보도록 하겠습니다!!! 🦕🦕🦕

감사합니다.