[인공지능/혼공머신] 03-2. 선형 회귀

우선 데이터 준비 후 훈련까지.. (03-1 내용 참고)

[인공지능/혼공머신] 03-1. k-최근접 이웃 회귀

# http://bit.ly/perch_data

# 우선, 훈련, 테스트 세트로 나누고
# 특성 데이터를 2차원 배열로 변환

import numpy as np

perch_length = np.array([8.4, 13.7, 15.0, 16.2, 17.4, 18.0, 18.7, 19.0, 19.6, 20.0, 21.0,
       21.0, 21.0, 21.3, 22.0, 22.0, 22.0, 22.0, 22.0, 22.5, 22.5, 22.7,
       23.0, 23.5, 24.0, 24.0, 24.6, 25.0, 25.6, 26.5, 27.3, 27.5, 27.5,
       27.5, 28.0, 28.7, 30.0, 32.8, 34.5, 35.0, 36.5, 36.0, 37.0, 37.0,
       39.0, 39.0, 39.0, 40.0, 40.0, 40.0, 40.0, 42.0, 43.0, 43.0, 43.5,
       44.0])

perch_weight = np.array([5.9, 32.0, 40.0, 51.5, 70.0, 100.0, 78.0, 80.0, 85.0, 85.0, 110.0,
       115.0, 125.0, 130.0, 120.0, 120.0, 130.0, 135.0, 110.0, 130.0,
       150.0, 145.0, 150.0, 170.0, 225.0, 145.0, 188.0, 180.0, 197.0,
       218.0, 300.0, 260.0, 265.0, 250.0, 250.0, 300.0, 320.0, 514.0,
       556.0, 840.0, 685.0, 700.0, 700.0, 690.0, 900.0, 650.0, 820.0,
       850.0, 900.0, 1015.0, 820.0, 1100.0, 1000.0, 1100.0, 1000.0,
       1000.0])

from sklearn.model_selection import train_test_split

# 훈련 세트와 테스트 세트로 나누기
train_input, test_input, train_target, test_target = train_test_split(perch_length, perch_weight, random_state=42)

# 2차원 배열로 변환
train_input = train_input.reshape(-1, 1)
test_input = test_input.reshape(-1, 1)

# KNeighborsRegressor
from sklearn.neighbors import KNeighborsRegressor

# 이웃 개수를 3개로 하는 모델
knr=KNeighborsRegressor(n_neighbors=3)

# 훈련
knr.fit(train_input, train_target)

 

k-최근접 이웃의 한계

이 모델을 사용해서 길이가 50cm인 농어의 무게를 예측하겠습니다.

# 길이 50cm 인 농어 무게 예측하기
print(knr.predict([[50]]))

결과

해당 모델은 1033g 정도로 예측하였습니다. 그런데, 실제 농어의 무게는 이보다 훨씬 더 많이 나가야 한다고 합니다.

문제가 생겼네요...^^

 

훈련 세트는 파란색 점, 훈련 세트 중 예측값의 이웃 샘플은 주황색 점, 예측값(50cm, 1033g)은 초록색 점으로 확인해보겠습니다.

산점도를 확인했을 때, 당연하게도 길이가 커짐에 따라 무게가 증가합니다.

그런데, 예측값(50cm, 1033g)은 45cm보다 길기 때문에 무게도 커야 하는데, 크지 않습니다..?

우선, 모델은 50cm에 가장 가까운 이웃이라곤 45cm 근방밖에 없기 때문에 45cm 근방 샘플들을 이용하여 평균을 구한 것입니다.

그럼, 45cm 근방 샘플들의 평균을 직접 구해서 모델의 예측 결과값과 같은지 비교해보겠습니다.

print(np.mean(train_target[indexes]))

직접 구한 평균값

우와 똑같네요^^

그러니까, 새로운 샘플이 훈련 세트의 범위를 벗어나면 엉뚱한 값을 예측할 수 밖에 없는 것이죠.

즉, 훈련 세트 범위 밖의 샘플을 예측할 수 없다는 한계가 있는 것을 파악했습니다.

극단적으로, 이 모델은 길이가 1000cm 이어도 1033g 으로 예측합니다.🥲

 

📌선형 회귀

• 회귀 알고리즘
• 특성이 하나일 때, 분석하고자 하는 데이터의 관계성이 직선인 경우
• y = ax + b

📌 LinearRegression : 선형 회귀 알고리즘 구현한 클래스

 

선형 회귀 모델을 훈련하여 예측해보겠습니다.

from sklearn.linear_model import LinearRegression
lr = LinearRegression()

# 선형 회귀 모델을 훈련
lr.fit(train_input, train_target)

# 50cm 농어 예측
print(lr.predict([[50]]))

길이 예측값

📌모델 파라미터

y = ax + b

• a(기울기) : coef_
• b(절편) : intercept_

coef_, intercept_를 머신러닝 알고리즘이 찾은 값이라는 의미로 모델 파라미터라고 부름

모델 기반 학습 - 최적의 모델 파라미터를 찾는 훈련 과정

# y = ax + b
# a : coef 기울기 (coefficient 계수 혹은 가중치)
# b : intercept 절편

print(lr.coef_, lr.intercept_)

무게 = 39.02 x 길이 - 709.02 를 학습했다는 것을 알 수 있습니다.

 

농어의 길이 15 ~ 50까지를 직선으로 그려보겠습니다.

plt.scatter(train_input, train_target)

# 15~ 50 1차 방정식 그래프 그리기
plt.plot([15, 50], [15*lr.coef_+lr.intercept_, 50*lr.coef_+lr.intercept_])

# 50cm 농어 데이터
plt.scatter(50, 1241.8, marker="^")
plt.xlabel("length")
plt.ylabel("weight")
plt.show()

오! 직선의 연장선에 50cm 농어에 대한 예측이 있어요!

그럼, R^2 점수를 확인하겠습니다.

점수 결과

음,, 두 세트 모두 결정 계수가 낮네요! 과소적합 되었다고 볼 수 있어요.😂

 

🤔 문제? 우선 선형 회귀로 만든 직선은 무게가 0g 이하로 내려가는 문제가 생깁니다. 

즉, 무게가 음수로 나올 수 있는 문제점이 있는 것을 파악했습니다.

💡해결 ! 산점도로는 일직선보단 곡선의 모양에 가깝죠. 다항식을 사용한 선형 회귀를 합니다.

 

📌다항 회귀

• 다항식을 사용한 선형 회귀
• 특성이 하나일 때, 분석하고자 하는 데이터의 관계성이 직선이 아닌 경우
• y = ax² + bx + c ...
• 해당 예제는 2차 방정식으로, 제곱한 항이 훈련 세트에 추가되어야 함

📌 다항 회귀도 선형 회귀라고 할 수 있습니다.
x²를 간단하게 다른 변수로 치환하게 되면, y = aA + bx +c 와 같이 쓸 수 있기 때문에, y는 A와 x의 선형 관계로 표현할 수 있다.

📍주의 ! 데이터 셋을 2차 방정식에 맞게 준비하더라도 타깃값은 그대로 사용합니다.

타깃값은 어떤 그래프를 훈련하든지간에 바꿀 필요가 없어요!

# 제곱한 항이 훈련세트에 추가되어야 하니까..(데이터 셋 개수, 2) 인 배열 만들어야 함!

# 각 제곱한 걸 나란히 붙이기~!
train_poly = np.column_stack((train_input ** 2 , train_input))
test_poly = np.column_stack((test_input ** 2 , test_input))

데이터가 준비 되었습니다! 그럼 다시 훈련해보겠습니다.

lr = LinearRegression()

# 다시 훈련 후, 더 높은 무게값을 예측!
lr.fit(train_poly, train_target)
lr.predict([[50**2, 50]])

무게 예측 결과

모델 파라미터를 살펴보겠습니다.

무게 = 1.01 x 길이² - 21.6 x 길이 + 116.05 를 학습했습니다.

 

산점도로 그려보겠습니다.

# 구간별 직선을 그리기 위해 15~49 정수 배열 만들기
point = np.arange(15, 50)

# 훈련 세트 산점도
plt.scatter(train_input, train_target)

# 15~ 49 2차 방정식 그래프 그리기
plt.plot(point, 1.01*point**2 - 21.6*point + 116.05)

# 50cm 농어 데이터
plt.scatter(50, 1574, marker="^")
plt.xlabel("length")
plt.ylabel("weight")
plt.show()

산점도 결과

곡선으로 예쁘게 잘 그려졌네욥😁

결정 계수도 살펴볼까요?

아주 잘 훈련되었습니다~!

그렇지만, 아직 테스트 세트의 점수가 조오금 더 높습니다. 과소적합이 아직 남았다는 것이죠..

조금 더 복잡한 모델이 필요할 것 같습니다.

 

🤔🤔