[인공지능/혼공머신] 04-2. 확률적 경사 하강법 (2)

아래 첨부한 글은 확률적 경사 하강법 개념에 대해 작성한 글입니다.

[인공지능/혼공머신] 04-2. 확률적 경사 하강법 (1)

 

아래 작성한 글은 확률적 경사 하강법 개념 및 실습 과정에 대해 작성한 글입니다. 🚀

 

데이터 준비하기

다중 분류를 위한 데이터 준비하는 방법을 참고합니다.

[인공지능/혼공머신] 04-1. 로지스틱 회귀

import pandas as pd
fish = pd.read_csv("https://bit.ly/fish_csv_data")

# Species 열을 제외한 나머지 열은 입력 데이터로, Species 열은 타깃 데이터로 배열 변환
fish_input = fish[["Weight","Length","Diagonal","Height","Width"]].to_numpy()
fish_target = fish["Species"].to_numpy()

# 입력 데이터와 타깃 데이터를 각각 훈련 세트, 테스트 세트로 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(fish_input, fish_target, random_state=42)

# 표준화 전처리 (정규화)
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss.fit(train_input)
train_scaled = ss.transform(train_input)
test_scaled = ss.transform(test_input) # 꼭 훈련 세트에서 학습한 통계 값으로 테스트 세트도 변환

현재 변수 상태 참고

이렇게 특성값의 스케일을 맞춘 두 넘파이 배열까지 준비를 마쳤습니다.

그럼 이제 훈련을 하겠습니다.

 

📌 SGDClassifier

📌 사이킷런의 SGDClassifier : 확률적 경사 하강법을 제공하는 대표적인 분류용 클래스

- 매개변수 loss : 손실함수의 종류
- 매개변수 max_iter : 수행할 에포크 횟수

• loss = "log" 로 지정하여 로지스틱 손실 함수를 지정하였습니다.
• max_iter = 10 로 지정하여 전체 훈련 세트를 10회 반복하겠습니다.

from sklearn.linear_model import SGDClassifier

# loss 손실 함수의 종류 지정
sc = SGDClassifier(loss='log', max_iter=10, random_state=42)
sc.fit(train_scaled, train_target)

점수 확인

🤔 정확도가 낮습니다..? 훈련 횟수가 적은 것 같습니다.

💡 해결 ! 확률적 경사 하강법은 점진적 학습이 가능합니다. 즉, 현재 훈련한 모델을 추가로 이어서 더 훈련해봅시다.

 

+) 🤔 의문? train_scaled, train_target을 한 번에 모두 사용했으니 확률적 경사 하강법이 아니라 배치 경사 하강법(전체 샘플을 사용하는 방식)이 아닌가요?

💡 대답 ! 아닙니다. SGDClassifier에 한 번에 훈련 세트 전체를 전달하긴 했지만, 해당 알고리즘은 전달받은 훈련 세트에서 1개씩 샘플을 꺼내어 경사 하강법을 수행합니다.

 

📌 SGDClassifier의 partial_fit() : 1 에포크씩 이어서 훈련하는 함수
- fit() 과 사용법이 같지만, 호출할 때마다 1 에포크씩 이어서 훈련할 수 있습니다.

sc.partial_fit(train_scaled, train_target)

점수 확인

정확도가 향상되었습니다! 이 모델을 여러 에포크에서 더 훈련해볼 필요가 있어보입니다.

 

🤔 의문? 얼마나 더 훈련해야 하나요?

💡 대답 ! 그 기준을 살펴보기 위해, 에포크와 과대/과소적합에 대해 알아보겠습니다.

 

📌 에포크와 과대/과소적합

📍 확률적 경사 하강법을 사용한 모델은 에포크 횟수에 따라 과소적합이나 과대적합이 될 수 있습니다.

• 에포크 횟수가 적으면, 모델이 훈련 세트를 덜 학습합니다. ▶️ 과소적합된 모델일 가능성
• 에포크 횟수가 충분히 많으면, 모델이 훈련 세트를 완전히 학습합니다. ▶️ 과대적합된 모델일 가능성

에포크에 대한 모델의 정확도 그래프

📍 조기 종료 : 과대적합(에포크가 진행될수록 훈련 세트 점수는 꾸준히 증가하지만, 테스트 세트 점수가 감소하기 시작하는 순간)이 시작하기 전에 훈련을 멈추는 것

 

그럼 우리의 데이터로 위와 같은 그래프를 만들어 보겠습니다.

 

📍 fit() 메소드는 사용하지 않고, partial_fit() 메소드만 사용하기 위해 훈련 세트에 있는 전체 클래스의 레이블을 전달해야 합니다. 따라서, 훈련 세트에 있는 7개 생선 종류 class를 준비합니다.

import numpy as np
sc = SGDClassifier(loss="log", random_state=42)

# 에포크마다 훈련 세트와 테스트 세트에 대한 점수를 기록
train_score = []
test_score = []

# 훈련 세트에 있는 7개 생선 종류 class를 준비
classes = np.unique(train_target)

 300번 에포크 동안 훈련을 반복하여 진행하겠습니다.

for _ in range(0, 300):
  sc.partial_fit(train_scaled, train_target, classes = classes)
  # 훈련 세트, 테스트 세트 점수 계산
  train_score.append(sc.score(train_scaled, train_target))
  test_score.append(sc.score(test_scaled, test_target))

훈련 세트와 테스트 세트에 대한 점수를 그래프로 그리겠습니다.

import matplotlib.pyplot as plt

plt.plot(train_score)
plt.plot(test_score)
plt.xlabel("epoch")
plt.ylabel("accuracy")
plt.show()

300번 에포크 동안 기록한 훈련, 테스트 세트에 대한 점수 그래프 (파란색 : 훈련 세트, 주황색 : 테스트 세트)

초기에는 훈련 세트와 테스트 세트 둘 다 점수가 낮아 과소적합된 것을 확인할 수 있고,

100번째 에포크 이후부터 훈련 세트와 테스트 세트 점수가 조금씩 벌어지는 것을 확인할 수 있습니다.

=> 100번째 에포크가 적절한 반복 횟수인 것 같습니다. 😁

 

그럼, SGDClassifier 의 반복 횟수를 100으로 맞추고 다시 훈련하겠습니다.

📌 SGDClassifier의 매개변수 tol : 정밀도, 향상될 최솟값을 지정
- SGDClassifier는 일정 에포크 동안 성능이 향상되지 않으면 더 훈련하지 않고 자동으로 멈춥니다.
- None으로 지정하면 자동으로 멈추지 않고 max_iter에 지정한 만큼 무조건 반복합니다.

sc = SGDClassifier(loss="log", max_iter=100, tol=None, random_state=42)
sc.fit(train_scaled, train_target)

점수 확인

최종 점수가 아주 좋습니다~! 훈련 성공~! ✨✨

---

📍 SGDClassifier의 loss 매개변수

• 기본값 : hinge
  • 힌지 손실 : 서포트 벡터 머신을 위한 손실 함수