[인공지능/혼공머신] 04-1. 로지스틱 회귀

📌 로지스틱 회귀

선형 방정식을 사용한 분류 알고리즘

선형 회귀와 달리, 시그모이드 함수나 소프트맥스 함수를 사용하여 클래스 확률을 구함

 

 

📍목표! 여러 종류의 생선이 있을 때, 해당 생선이 무슨 종류의 생선인지 확률을 알아보도록 하겠습니다.

* 즉, 타깃 데이터에 2개 이상의 클래스가 포함된 문제

ex) [A, B, C] 클래스 별 이웃의 비율 -> A:10%, B : 50%, C : 40% => 예측 : B

 

데이터 준비하기

판다스로 데이터를 준비하는 방법을 참고합니다.

[인공지능/혼공머신] 03-3. 특성 공학과 규제

csv 파일 일부 ) https://bit.ly/fish_csv_data

import pandas as pd

fish = pd.read_csv("https://bit.ly/fish_csv_data") # csv 파일을 판다스 데이터 프레임으로 읽기
fish.head() # 처음 5개 행 출력

결과

오! 잘 가져왔습니다.

아래와 같이 어떤 종류의 생선이 있는지 Species 열에서 고유값을 추출하여 확인합니다.

# 어떤 종류의 생선이 있는지 고유값 추출
print(pd.unique(fish["Species"]))

생선 종류 7개

📍 그럼 우린 해당 생선이 무슨 종인지 확률을 구하는 중이기 떄문에, 해당 데이터 프레임에서 Species 열을 타깃으로 하고 나머지 5개 열(Weight, Length, Diagonal, Height, Width) 은 입력 데이터로 사용하겠습니다.

# 타깃 데이터
fish_target = fish["Species"].to_numpy()

# 입력 데이터
fish_input = fish[["Weight","Length","Diagonal","Height","Width"]].to_numpy()

 

📍 훈련과 테스트 세트로 나눈 후, 변환기로 표준화 전처리(정규화)까지 해줍니다.

• ✨ 데이터프레임에서 7개 생선 종류를 타깃 데이터로 했죠. 그럼, 타깃 데이터를 훈련, 테스트 세트로 나누니까 훈련, 테스트 세트에도 당연히 7개 생선 종류를 각각 가지게 됩니다.
• 꼭 훈련 세트의 통계 값으로 테스트 세트를 변환해줍니다~!

# 훈련, 테스트 세트 나누기
from sklearn.model_selection import train_test_split
train_input, test_input, train_target, test_target = train_test_split(fish_input, fish_target, random_state=42)

# 정규화
from sklearn.preprocessing import StandardScaler
ss = StandardScaler()
ss.fit(train_input)
train_scaled = ss.transform(train_input)
test_scaled = ss.transform(test_input) # 훈련 세트의 통계 값으로 훈련 한 변환기로 테스트 세트를 변환해줘야 함

 

 

📌 k-최근접 이웃 분류기의 확률 예측

최근접 이웃 개수를 3개로 지정하여 훈련 하겠습니다.

from sklearn.neighbors import KNeighborsClassifier
kn = KNeighborsClassifier(n_neighbors=3) # 최근접 이웃 개수 3
kn.fit(train_scaled, train_target)

클래스 확률을 배우는 것이 목적이므로, 훈련 세트와 테스트 세트 점수는 잠시 잊고...

 

📌 다중 분류

타깃 데이터에 2개 이상의 클래스가 포함된 문제

* 7개 생선 종류를 타깃 데이터로 했었죠. 😁

 

🤔 의문 ? 이진 분류와 다중 분류의 차이점은?

💡 대답 ! 이진 분류는 타깃 데이터를 양성 클래스(1)와 음성 클래스(0)로 지정합니다. 다중 분류는 클래스를 문자열로 된 타깃값을 그대로 사용할 수 있습니다. (숫자로도 가능)

📍 주의할 점 ! 다중 분류에서 타깃값을 문자열 그대로 사용하여 전달하면 순서가 자동으로 알파벳 오름차순 정렬됩니다.

📌 k-최근접 이웃 분류기의 classes_ : 정렬된 타깃값

타깃값 출력 하기

 

그럼, 테스트 세트에 있는 처음 5개 샘플의 타깃값을 예측하겠습니다.

print(kn.predict(test_scaled[:5]))

예측 결과

타깃값 그대로를 사용하여 예측해주네요! 아주 편리합니다.

 

🤔 의문? 그런데, 위 5개 샘플의 예측은 어떤 확률로 만들어진 걸까요? 즉, 클래스 확률 예측을 어떻게 한 건가요?

💡 대답 ! predict_proba() 으로 각 클래스에 대한 확률을 확인해보고, 그 중 가장 높은 확률(가장 가까운 이웃의 비율)의 클래스가 예측값으로 잘 나온 게 맞는지 비교하겠습니다.

📌 사이킷런 분류 모델의 predict_proba() : 클래스별 확률값 반환

import numpy as np
proba = kn.predict_proba(test_scaled[:5])

print("\n각 classes 에 대한 확률")
print(kn.classes_)
print(np.round(proba, decimals = 4)) # 다섯 번째 자리에서 반올림 : 소수점 네 번째 자리까지 표기

각 클래스에 대한 확률 확인

네 번째 샘플의 최근접 이웃 클래스들을 확인하겠습니다.

distances, indexes = kn.kneighbors(test_scaled[3:4])

print(train_target[indexes])

네 번째 샘플의 최근접 이웃 클래스 확인

이 샘플의 최근접 이웃은 "Roach" 1개, "Perch" 2개네요.

즉, "Roach" 에 대한 확률 1/3 = 0.3333, "Perch" 에 대한 확률 2/3 = 0.6667

위. 네 번째 샘플의 클래스 확률

네 번째 샘플의 클래스 확률과 같네요! 클래스 예측 확률 성공!

 

🤔 문제점 ? 현재는 3개의 최근접 이웃을 사용하기 때문에, 가능한 확률이 0/3, 1/3, 2/3, 3/3 밖에 안 됩니다.

💡 로지스틱 회귀를 학습해봅시다!

 

 

📌 로지스틱 회귀 (Logistic Regression)

선형 회귀와 동일하게 선형 방정식을 학습하는 분류 모델입니다. (이름만 회귀일 뿐)

* 선형 방정식의 예시 ) z = a x (특성1) + b x (특성2) + c x (특성3) + d 와 같은 선형 방정식이 있을 때, a, b, c는 가중치(계수) 입니다. 특성이 늘어난 다중 회귀를 위한 선형 방정식과 같죠!

용어가 헷갈릴 수 있으니 아래를 참고해주세요!

참고) 회귀 알고리즘

 

📍 z = a x Weight + b x Length + c x Diagonal + d x Height + e x Width + f

• 같은 개념으로 a,b,c,d,e 는 가중치입니다.
• 클래스 예측 확률을 위해, z는 확률이 되어야 하기 때문에 범위가 0~1 (0~100%) 이어야 합니다.
  • z가 아주 큰 음수일 때 0이 되고, 아주 큰 양수일 때 1이 되도록 시그모이드 함수(로지스틱 함수)를 사용하겠습니다. ✨

 

📌 시그모이드 함수(로지스틱 함수)

시그모이드 함수

시그모이드 그래프

📍z 값에 대한 확률값으로 계산해야 하기 때문에, ( x : z, y : 확률값 )이 되겠네요.

z가 무한하게 큰 음수일 경우 확률값은 0 에 가까워지고, 무한하게 큰 양수일 경우 1 에 가까워집니다.
z가 0 일 경우 0.5 가 되네요. 즉, 0~1 이기 때문에 0~100% 확률로 해석할 수 있게 됐습니다.😁

 

그럼, 다중 분류를 수행하기 전에 먼저 이진 분류로 수행을 해보도록 하겠습니다!✨

 

📌 로지스틱 회귀로 이진 분류 수행하기

📍 알아가기

이진 분류(0 혹은 1)를 위해, 불리언 인덱싱 방식으로 훈련 세트에서 도미와 빙어의 행만 골라내겠습니다.

📌 넘파이의 불리언 인덱싱 : true, false 값을 전달하여 행을 선택

현재 변수 상태 참고

bream_smelt_indexes = (train_target=="Bream") | (train_target=="Smelt") # 도미와 빙어
train_bream_smelt = train_scaled[bream_smelt_indexes] # 입력 데이터 중에서 도미와 빙어
target_bream_smelt = train_target[bream_smelt_indexes] # 타깃 데이터 중에서 도미와 빙어

 

📍 훈련

로지스틱 회귀 모델을 훈련해보겠습니다.

📌 사이킷런의 LogisticRegression : 선형 모델

from sklearn.linear_model import LogisticRegression
lr = LogisticRegression()
lr.fit(train_bream_smelt, target_bream_smelt)

 

📍 예측

처음 5개 샘플을 예측해보고, 클래스 예측 확률을 살펴보겠습니다.

📌 사이킷런의 predict_proba() : 이진 분류에서 음성 클래스와 양성 클래스에 대한 확률 반환

# 처음 5개 샘플 예측
print(lr.predict(train_bream_smelt[:5]))

# 클래스 예측 확률
# 알파벳순으로 정렬된 타깃값대로 0, 1 이 정해짐
# 음성 클래스(0) | 양성 클래스(1)에 대한 확률
print(lr.classes_)
print(lr.predict_proba(train_bream_smelt[:5]))

결과

5개 샘플 중에 두 번째 샘플만 양성 클래스인 빙어의 확률이 높다고 합니다.

 

그럼, 예측이 맞는지 직접 구해보겠습니다.

📍 선형 방정식 세우기

로지스틱 회귀가 학습한 선형 방정식의 계수를 확인 후, 방정식을 작성하겠습니다.

print(lr.coef_, lr.intercept_)

계수, 절편

✨ z = -0.404x(Weight) -0.576x(Length) -0.663x(Diagonal) -1.013x(Height) -0.732x(Width) -2.161

 

확률을 얻기 위해 시그모이드 계산을 하려면, z 값을 알아야 하기 때문에 계산을 해줍니다.

😁 직접 계산하지 않아도, z 값을 반환하는 함수가 있습니다.

 

📍 z 계산

📌 사이킷런의 decision_function() : (이진 분류) 양성 클래스에 대한 z 값을 반환

🤔 왜 양성 클래스에 대한 값만 반환하는지는 밑에서 확인하겠습니다.

decisions = lr.decision_function(train_bream_smelt[:5])
print(decisions)

양성 클래스에 대한 z 값 결과

양성 클래스에 대한 z 값을 얻었으니, 확률을 얻기 위해 시그모이드 계산을 해줍니다. 이 또한, 함수가 있습니다!😁

 

📍 시그모이드 함수 (확률 계산)

위에서 구한 양성 클래스에 대한 z값을 시그모이드 함수에 전달하여 확률값을 받습니다.

📌 파이썬 사이파이의 expit() : 시그모이드 함수, z 값을 0~1(확률)로 변환

from scipy.special import expit
print(expit(decisions))

확률

출력된 값을 볼까요? 아까 출력했던 음성, 양성 클래스에 대한 확률 결과의 두 번째 열의 값과 일치하네요! (두 번째 열은 양성 클래스 값이죠.)

음성, 양성 클래스에 대한 확률 결과의 두 번째 열 확인하기

💡 리마인드 ! 위 결과로부터 z 값을 반환하는 decision_function() 함수는 양성 클래스에 대한 z값을 반환한다는 것을 알았습니다.

 

그럼 7개의 생선 종류를 분류하는 다중 분류 문제로 넘어가겠습니다~!

 

 

📌 로지스틱 회귀로 다중 분류 수행하기

📍 알아가기

01. LogisticRegression 클래스는 기본적으로 반복적인 알고리즘을 사용합니다.

• 매개변수를 통해 반복 횟수를 임의로 지정할 수 있습니다. 충분하게 훈련시키기 위해 1,000으로 지정하겠습니다.

📌 LogisticRegression 클래스의 매개변수 max_iter : 반복 횟수 지정 (기본값 : 100)

 

02. LogisticRegression 클래스는 기본적으로 (릿지 회귀처럼) 계수의 제곱을 규제(L2 규제)합니다.

• 매개변수를 통해 규제의 양을 임의로 지정할 수 있습니다. 규제를 완화하기 위해 20으로 지정하겠습니다.

📌 LogisticRegression 클래스의 매개변수 C : 규제의 양 조절 (기본값 : 1), C ↑ => 규제 ↓

• 🤔 릿지 회귀와의 차이점?
  • 릿지 회귀 : 매개변수 alpha, alpha ↑ => 규제 ↑
  • LogisticRegression  : 매개변수 C, C ↑ => 규제 ↓

 

📍 훈련

훈련 후, 분류 모델이니까 점수도 확인하겠습니다.

# 훈련
lr = LogisticRegression(C = 20, max_iter = 1000)
lr.fit(train_scaled, train_target)

점수 결과

과대 적합이나 과소 적합 문제가 생기지 않았네요!

그럼 테스트 세트의 처음 5개 샘플에 대한 예측과 예측 확률을 출력해보겠습니다.

 

📍 예측

# 5개 샘플 예측
print(lr.predict(test_scaled[:5]))

# 5개 샘플 예측 확률
print(lr.classes_) # 클래스 확인
print(lr.predict_proba(test_scaled[:5]).round(decimals = 3)) # 소수점 네 번째 자리에서 반올림

예측과 예측 확률

생선이 7종류(클래스)이니까 7개의 열로 잘 나왔네요~!

• [예측 확률] 행 : 샘플 5개, 열 : 각 클래스 확률 7개
• 첫 번째 샘플에 대한 예측값과 예측 확률값을 비교해보니 잘 예측되었습니다!
  • [예측]에서 첫 번째 샘플의 예측값이 Perch입니다.
  • [예측 확률]에서 첫 번째 샘플의 예측 확률값 중, 세 번째 열(Perch)을 가장 높은 확률로 예측했습니다.(84.1%)

 

그럼, 예측이 맞는지 직접 구해보겠습니다.

📍 선형 방정식 세우기

선형 방정식의 모습은 어떨까요? 크기를 출력해보겠습니다.

print(lr.coef_.shape, lr.intercept_.shape)

크기

• 행 : 클래스 7개, 열 : 특성과 곱해지는 계수 5개
• 즉, 클래스마다 선형 방정식을 만들어 z값을 하나씩 계산합니다. (아래 그림 참고) 

 

📍 z 계산

📌 사이킷런의 decision_function() : (다중 분류) 각 샘플에 대한 모든 클래스의 z값을 반환

decision = lr.decision_function(test_scaled[:5])
print(np.round(decision, decimals=2))

각 샘플에 대한 z1 ~ z7 결과

z도 구했으니, 이제 확률을 구해야겠죠!

 

📍 소프트맥스 함수 (확률 계산)

📌 파이썬 사이파이의 softmax() : 소프트맥스 함수, 1개의 샘플에 대한 모든 클래스의 z 값을 0~1(확률)로 변환
- 매개변수 axis : 1로 지정하여 각 행(샘플)에 대해 소프트맥스를 계산합니다. 지정하지 않으면, 배열 전체에 대해 소프트맥스 계산을 합니다.

🤔 이중 분류에서 시그모이드 함수와의 차이점?

• 시그모이드 : 하나의 선형 방정식의 출력값을 0~1로 변환
• 소프트맥스 : 여러 개의 선형 방정식의 출력값을 0~1로 변환하고, 전체 합이 1이 되도록 만듦 (지수 함수 사용)

from scipy.special import softmax
proba = softmax(decision, axis = 1) # 소프트맥스 계산할 축을 지정 => 1 : 각 샘플(행)에 대해 계산 
print(np.round(proba, decimals = 3))

확률 결과

앞에서 함수로 예측한 예측 확률과 비교했을 때, 일치하네요~!

예측 확률

😁😁😁