[인공지능/혼공머신] 02-2. 데이터 전처리

- 올바른 결과 도출을 위해서 데이터를 사용하기 전, 데이터 전처리 과정을 거칩니다.
- 표준점수로 특성의 스케일을 변환하는 방법도 배웁니다.

 

데이터 준비하기

입력, 타깃 데이터를 준비해봅시다.

# http://bit.ly/bream_smelt

# 49개의 데이터
# 35마리 도미, 14마리 빙어

fish_length = [25.4, 26.3, 26.5, 29.0, 29.0, 29.7, 29.7, 30.0, 30.0, 30.7, 31.0, 31.0, 
                31.5, 32.0, 32.0, 32.0, 33.0, 33.0, 33.5, 33.5, 34.0, 34.0, 34.5, 35.0, 
                35.0, 35.0, 35.0, 36.0, 36.0, 37.0, 38.5, 38.5, 39.5, 41.0, 41.0, 9.8, 
                10.5, 10.6, 11.0, 11.2, 11.3, 11.8, 11.8, 12.0, 12.2, 12.4, 13.0, 14.3, 15.0]
fish_weight = [242.0, 290.0, 340.0, 363.0, 430.0, 450.0, 500.0, 390.0, 450.0, 500.0, 475.0, 500.0, 
                500.0, 340.0, 600.0, 600.0, 700.0, 700.0, 610.0, 650.0, 575.0, 685.0, 620.0, 680.0, 
                700.0, 725.0, 720.0, 714.0, 850.0, 1000.0, 920.0, 955.0, 925.0, 975.0, 950.0, 6.7, 
                7.5, 7.0, 9.7, 9.8, 8.7, 10.0, 9.9, 9.8, 12.2, 13.4, 12.2, 19.7, 19.9]

 

넘파이의 column_stack, concatenate, ones, zeros 함수를 사용하여 입력 데이터와 타깃 데이터를 간편하게 만들어봅시다!

📌 넘파이의 column_stack, concatenate, ones, zeros
- column_stack : 전달받은 리스트를 각각 일렬로 세운 다음, 차례대로 나란히 연결
- concatenate : 전달받은 리스트를 1차원으로 나란히 연결
- ones : 1로 채운 배열 리턴
- zeros : 0으로 채운 배열 리턴

사용 예시)

import numpy as np

print("원래 데이터")
print([1,2,3], [4,5,6])
# column_stack : 전달받은 리스트를 각각 일렬로 세운 다음, 차례대로 나란히 연결
print("\ncolumn_stack 결과")
print(np.column_stack(([1,2,3], [4,5,6])))
# concatenate : 전달받은 리스트를 1차원으로 나란히 연결
print("\nconcatenate 결과")
print(np.concatenate(([1,2,3], [4,5,6])))

결과

# ones : 1로 채운 크기가 n인 배열 생성
print(np.ones(5))
# zeros : 0로 채운 크기가 n인 배열 생성
print(np.zeros(5))

결과

 

입력, 타깃 데이터.. 이제 진짜 만들어볼게요! 😁😁😁

각 샘플마다 length, weight가 특성인 입력 데이터를 생성하고,

🐟 도미는 1, 빙어는 0으로 타깃 데이터를 생성했습니다.

import numpy as np

# 입력 데이터 만들기
fish_data = np.column_stack((fish_length, fish_weight))

# 타깃 데이터 만들기
fish_target = np.concatenate((np.ones(35), np.zeros(14)))

잘 만들어졌는지 5개씩 출력해보았습니다.✨

결과

 

 

사이킷런으로 훈련 세트와 테스트 세트 나누기

훈련 데이터(입력 + 타깃 데이터)를 만들었으니, 이를 훈련 세트와 테스트 세트로 나누어주겠습니다.

한 배열을 훈련, 테스트 세트로 나누니까 x 2 개씩 생성되겠죠?

📌 사이킷런의 train_test_split()
전달된 리스트를 랜덤으로 섞고, 비율에 맞게 훈련 세트와 테스트 세트로 나누어 줌

 

train_test_split() 는 기본적으로 25%를 테스트 세트로 떼어냅니다.
🤔 문제 ? 일부 클래스 개수가 적을 때, 샘플링 편향이 나타날 때가 있습니다. (해당 예제에서는 빙어가 적어서 발생)
💡 해결 ! stratify 매개변수에 타깃 데이터를 전달하면 클래스 비율에 맞게 데이터를 나눕니다.

 from sklearn.model_selection import train_test_split

# random_state 매개변수로 랜덤 시드를 지정해줌
train_input, test_input, train_target, test_target = train_test_split(fish_data, fish_target, stratify = fish_target, random_state = 42)

 

잘 섞였는지 확인하기 위해, 훈련, 테스트 세트 각각의 타깃 데이터를 출력해보았습니다!

결과

 

 

현재 문제 파악하기

준비한 데이터로 k-최근접 이웃을 훈련해 보겠습니다.

from sklearn.neighbors import KNeighborsClassifier

kn = KNeighborsClassifier()
kn.fit(train_input, train_target)
kn.score(test_input, test_target)
# 1.0

정확도가 1.0이네요~!

 

그럼, 새로운 도미 데이터에 대해 예측해보겠습니다.

print(kn.predict([[25, 150]]))

???!!!

아니. . . 🐟 도미는 1, 빙어는 0이라, 1이 나와야 하는데 왜 빙어가 나올까요?

산점도로 확인해보겠습니다.

import matplotlib.pyplot as plt

plt.scatter(train_input[ : , 0], train_input[ : , 1])
plt.scatter(25, 150, marker="^") # 예측하려는 도미 데이터
plt.xlabel("length")
plt.ylabel("weight")
plt.show()

결과

 

🤔 문제 ? 산점도로 봤을 땐 도미쪽에 더 가깝게 보이는데, 왜 빙어 데이터에 가깝다고 판단하여 0이 출력된 것일까요?

🧠 과정... k-최근접 이웃은 주변의 샘플 중에서 다수인 클래스를 예측으로 사용합니다. 그렇다면, 주변 샘플을 알아보도록 하죠!

📌 KNeighborsClassifier 클래스의 kneighbors()
- 가장 가까운 이웃 샘플을 찾아주는 함수 (이웃 개수 기본값 5)
- 이웃까지의 거리와 이웃 샘플의 인덱스 반환

배열 인덱싱을 이용하여 주변 샘플을 알아보겠습니다.

distances, indexes = kn.kneighbors([[25,150]]) # 이웃 샘플 찾기

plt.scatter(train_input[:,0], train_input[:,1])
plt.scatter(25, 150, marker="^") # 예측하려는 도미 데이터
plt.scatter(train_input[indexes, 0], train_input[indexes, 1], marker='D') # 이웃 샘플
plt.xlabel("length")
plt.ylabel("weight")
plt.show()

결과

 

기준을 맞추기

🤔문제 ?

이웃 샘플까지의 거리를 봤을 때,,, [[ 92.00086956 130.48375378 130.73859415 138.32150953 138.39320793]]

도미까지는 92, 빙어까지는 130~138 으로 나오네요.

그런데, 산점도에서 도미까지 92라 했을 때, 빙어까지 겨우 130인게 좀 이상합니다. 비율이 이상해요.

💡해결 ! x 축은 범위가 좁고(10~40), y축은 범위가 넓습니다(0~1000). 즉, y축으로 조금만 멀어져도 확!! 멀어진 것처럼 아주 큰 값으로 계산되는 것입니다!

따라서, x축의 범위를 y축의 범위와 동일하게 0~1000으로 맞추도록 합시다!

📌 맷플롯립의 xlim()
- x 축의 범위를 지정
- y축 지정하려면 ylim()

plt.scatter(train_input[ : , 0], train_input[ : , 1])
plt.scatter(25, 150, marker="^")
plt.scatter(train_input[indexes, 0], train_input[indexes, 1], marker='D')

# xlim : x 축의 범위를 지정
plt.xlim((0, 1000))

plt.xlabel("length")
plt.ylabel("weight")
plt.show()

결과

이렇게 보니, 확실히 x축은 이웃샘플로 채택되는 데에 큰 영향은 못 끼친다는 것을 확인할 수 있습니다. 😥

 

📍 스케일 : 특성의 값이 놓인 범위

위 처럼, 두 특성의 범위가 다를 때 두 특성의 스케일이 다르다고 표현합니다.

데이터를 표현하는 기준이 다르면 올바르게 예측하기 힘듭니다. 기준을 맞춰주어야겠네요. 😁

 

 

📌 데이터 전처리

• 특성값을 일정한 기준으로 맞춰 주는 작업
• 전처리 방법은 다양함
  • 표준점수 (z점수) : 각 특성값이 평균에서 표준편차의 몇 배만큼 떨어져 있는지를 나타냄
    • 계산 방법 : 평균을 뺴고 표준편차로 나눔

그럼, 기준을 맞추기 위해 훈련 세트를 표준 점수로 변환하겠습니다.

mean = np.mean(train_input, axis=0) # 평균
std = np.std(train_input, axis=0) # 표준 편차

train_scaled = (train_input - mean) / std # 표준 점수로 변환 - 넘파이 브로드캐스팅

📌 axis = 0 하는 이유?
특성마다 값의 스케일이 다르므로 평균과 표준편차는 각 특성별로 계산해야 함
한 샘플(행)을 따라 각 열(특성)의 통계 값을 계산해주기 위함!

 

전처리 데이터로 모델 훈련하기

✨ 훈련 세트를 표준 점수로 변환해주었기 때문에, 예측할 도미데이터도 함께 표준 점수로 변환해주어야 합니다!

📌 또한, 훈련 세트의 평균과 표준 편차를 이용하여 표준 점수로 변환해주어야 한다는 점 주의!!

 

산점도로 확인해볼까요?

new = ([25, 150] - mean) /std # 예측할 도미데이터 표준 점수로 변환

plt.scatter(train_scaled[:,0], train_scaled[:,1])
plt.scatter(new[0],new[1], marker="^")
plt.xlabel("length")
plt.ylabel("weight")
plt.show()

결과

 

훈련 데이터의 두 특성이 비슷한 범위를 차지하는 걸 확인했으니, 훈련!

📌 테스트 세트도 훈련 세트의 평균과 표준 편차를 이용하여 표준 점수로 변환해주어야 한다는 점 주의!!

🤔 왜? 데이터의 스케일이 같아지지 않으므로

# 전처리 데이터로 훈련
kn.fit(train_scaled, train_target)

# 테스트 세트를 훈련 세트의 평균과 표준편차 이용하여 표준점수로 변환
test_scaled = (test_input - mean) / std

# 평가
kn.score(test_scaled, test_target)
# 1.0

정확도는 1.0~~!!

 

예측도 해보겠습니다!

# 예측
print(kn.predict([new]))

도미~~!!

산점도로도 확인해보죠!

이웃 샘플로 모두 도미가 잡히는 것을 확인할 수 있습니다. 😁