Wednesday, November 18, 2026

Linear Regression Test For US Life Expectancy

အခုလေ့လာမဲ့ ပရိုဂရမ်က အမေရိကန်ပြည်ထောင်စုရဲ့ နှစ်အလိုက် ပျမ်းမျှလူ့သက်တမ်း ဒေတာ (life_expectancy.csv) ကို အသုံးပြုပြီး Supervised Linear Regression (မျဉ်းဖြောင့် ဆက်စပ်မှု ခန့်မှန်းခြင်း) မော်ဒယ် တည်ဆောက်ခြင်း ဖြစ်ပါတယ်။ ၁၉၈၆ ခုနှစ်မတိုင်မီ ဒေတာများဖြင့် မော်ဒယ်ကို လေ့ကျင့်စေပြီး အနာဂတ်နှစ်များ (2014, 2030, 2045) ရဲ့ လူ့သက်တမ်းကို ခန့်မှန်းတွက်ချက်ခြင်း (Temporal Extrapolation) နဲ့ ၂၀၁၄ ခုနှစ်မှာတွေ့ရတဲ့ အမှန်တကယ်တန်ဖိုးနဲ့ ပြန်လည်တိုက်ဆိုင်စစ်ဆေးခြင်းတို့ကို ပြုလုပ်မှာ ဖြစ်ပါတယ်။

အဆင့်တစ်ခုချင်းစီ၏ အသေးစိတ် ရှင်းလင်းချက်

  • Dataset ဖတ်ယူခြင်း (X) နှင့် အချက်အလက် စစ်ဆေးခြင်း
    • life_expectancy.csv ဖိုင်သည် ကော်လံများကို Tab (\t) ဖြင့် ခြားထားသောကြောင့် pd.read_csv(..., sep='\t') ဖြင့် ဖတ်ယူပြီး X ဟူသော Variable ထဲသို့ သိမ်းဆည်းရပါမည်။ ထို့နောက် print(X.head()) နှင့် print(X.describe()) တို့ဖြင့် ဒေတာတည်ဆောက်ပုံနှင့် စာရင်းအင်းအကျဉ်းချုပ်ကို စစ်ဆေးပါမည်။
  • Linear Regression Model တည်ဆောက်ခြင်း
    • sklearn.linear_model.LinearRegression() ကို ခေါ်ယူ၍ model ဟူသော Variable ထဲတွင် မလေ့ကျင့်ရသေးသော (Untrained) မော်ဒယ်အဖြစ် စတင်ဖန်တီးပါမည်။
  • ဒေတာကို ကိုယ်တိုင် ဖြတ်တောက်ခွဲခြားခြင်း (Manual Slicing)
    • ကျပန်းခွဲထုတ်သည့် train_test_split ကို မသုံးဘဲ X[X.Year < 1986] ဖြင့် ၁၉၈၆ ခုနှစ်မတိုင်မီ ဒေတာများကို စစ်ထုတ်ရပါမည်။
    • အရေးကြီးသော Shape Rule scikit-learn ၏ .fit() နှင့် .predict() တို့သည် Input Feature (X_train) ကို အမြဲတမ်း 2D Matrix (n_samples, n_features) ပုံစံဖြင့်သာ လက်ခံပါသည်။ ထို့ကြောင့် ကော်လံတစ်ခုတည်း ဖြစ်သော်လည်း ကွင်းနှစ်ထပ် [['Year']] ဖြင့် 2D DataFrame အဖြစ် ယူရမည်ဖြစ်ပြီး၊ Target (y_train) ကိုမူ ကွင်းတစ်ထပ် ['WhiteMale'] ဖြင့် 1D Series အဖြစ် ယူရပါမည်။
  • WhiteMale အတွက် မော်ဒယ်လေ့ကျင့်ခြင်းနှင့် drawLine ခေါ်ဆိုခြင်း
    • model.fit(X_train, y_train) ဖြင့် အကောင်းဆုံး မျဉ်းဖြောင့်ညီမျှခြင်းကို တွက်ချက်စေပြီး drawLine ကို ခေါ်ဆို၍ ဂရပ်ဖ်ဆွဲခြင်း၊  Score တွက်ခြင်းနှင့် 2014, 2030, 2045 ခန့်မှန်းချက်များ ထုတ်ယူခြင်းတို့ကို ပြုလုပ်ရပါမည်။
  • ၂၀၁၄ ခုနှစ် အမှန်တကယ် WhiteMale သက်တမ်းကို ထုတ်ပြခြင်း
    • မော်ဒယ်က ခန့်မှန်းလိုက်သော ၂၀၁၄ တန်ဖိုးနှင့် Dataset ထဲရှိ အမှန်တကယ် ၂၀၁၄ တန်ဖိုး (X[X.Year == 2014]['WhiteMale']) ကွာခြားချက်ကို နှိုင်းယှဉ်ကြည့်ရှုရန် ဖြစ်ပါသည်။
  • BlackFemale အတွက် အထက်ပါ လုပ်ငန်းစဉ်အတိုင်း ထပ်မံလုပ်ဆောင်ခြင်း
    • y_train ကို BlackFemale ကော်လံ ပြောင်းလဲသတ်မှတ်၍ မော်ဒယ်အသစ် ပြန်လည်လေ့ကျင့်ခြင်း (fit)၊ drawLine ဖြင့် ဂရပ်ဖ်ဆွဲခြင်းနှင့် ၂၀၁၄ ခုနှစ် အမှန်တကယ် BlackFemale သက်တမ်းကို ထုတ်ပြခြင်းတို့ကို ပြုလုပ်ရပါမည်။
  • Correlation Matrix တွက်ချက်ခြင်းနှင့် ပုံဖော်ခြင်း
    • X.corr() ဖြင့် Dataset တစ်ခုလုံးရှိ ကော်လံများအကြား ဆက်နွှယ်မှုကိန်း (Pearson Correlation Coefficient) ကို တွက်ချက်ထုတ်ပြပြီး plt.imshow() ဖြင့် Heatmap ပုံဖော်ရပါမည်။ 

Implementation Code


Python
import pandas as pd
import numpy as np
import matplotlib
import matplotlib.pyplot as plt
from sklearn import linear_model

matplotlib.style.use('ggplot')

# ==============================================================================
# drawLine Function: Regression Line ရေးဆွဲခြင်း၊ အနာဂတ်နှစ်များ ခန့်မှန်းခြင်းနှင့် R^2 တွက်ခြင်း
# AIMA (4th Ed.) Ch. 19, Sec. 19.6 (Linear Regression: Goodness of Fit & Extrapolation)
# သီအိုရီ -
# 1. R^2 Score (Coefficient of Determination): မော်ဒယ်၏ မျဉ်းဖြောင့်သည် မူလဒေတာ
# ပြောင်းလဲမှု (Variance) ၏ မည်မျှရာခိုင်နှုန်းကို ရှင်းပြနိုင်သလဲ တိုင်းတာသည် (1.0 သည် အတိကျဆုံး)။
# 2. Extrapolation (ပြင်ပသို့ ဆွဲဆန့်ခန့်မှန်းခြင်း): Training Data (1986 မတိုင်မီ) ၏ အပြင်ဘက်ရှိ
# အနာဂတ်နှစ်များ (2014, 2030, 2045) ကို မျဉ်းဖြောင့်အတိုင်း ဆက်လက်ခန့်မှန်းခြင်းဖြစ်သည်။
# ==============================================================================
def drawLine(model, X_test, y_test, title):
fig = plt.figure(figsize=(8, 5.5))
ax = fig.add_subplot(111)
ax.scatter(X_test, y_test, c='g', marker='o', alpha=0.8, label='Actual Data (< 1986)')
ax.plot(X_test, model.predict(X_test), color='orange', linewidth=2, alpha=0.85, label='OLS Regression Line')

# scikit-learn တွင် Feature Name Warning မတက်စေရန် DataFrame ပုံစံဖြင့် ခန့်မှန်းခြင်း
def predict_for_year(yr):
if hasattr(model, 'feature_names_in_'):
return model.predict(pd.DataFrame({model.feature_names_in_[0]: [yr]}))[0]
return model.predict([[yr]])[0]

print(f"--- {title} Extrapolation Results ---")
print(f"Est 2014 {title} Life Expectancy: {predict_for_year(2014):.2f}")
print(f"Est 2030 {title} Life Expectancy: {predict_for_year(2030):.2f}")
print(f"Est 2045 {title} Life Expectancy: {predict_for_year(2045):.2f}")

# R^2 Coefficient of Determination တွက်ချက်ခြင်း
score = model.score(X_test, y_test)
full_title = f"{title} | R2 Score: {score:.4f}"
ax.set_title(full_title, fontsize=12, fontweight='bold')
ax.set_xlabel('Year')
ax.set_ylabel('Life Expectancy (Years)')
ax.legend(loc='best')
plt.show()

# ==============================================================================
# TODO 1: Dataset ကို 'X' ဟူသော Variable ထဲသို့ ဖတ်ယူခြင်းနှင့် အခြေခံစာရင်းအင်း စစ်ဆေးခြင်း
# AIMA (4th Ed.) Ch. 19, Sec. 19.9 (Developing Machine Learning Systems: Data Inspection)
# ==============================================================================
X = pd.read_csv('C:\\mypy27\\Module5\\Datasets\\life_expectancy.csv', sep='\t')
print("First 5 rows of dataset:\n", X.head(), "\n")
print("Statistical Summary (.describe):\n", X.describe(), "\n")

# ==============================================================================
# TODO 2: Univariate Linear Regression Model ဖန်တီးခြင်း
# AIMA (4th Ed.) Ch. 19, Sec. 19.1 (Supervised Regression) & Sec. 19.6 (Linear Regression)
# သီအိုရီ - Target y (သက်တမ်း) သည် ကိန်းဆက်တန်ဖိုး (Continuous Real Number) ဖြစ်သောကြောင့်
# Classification မဟုတ်ဘဲ Regression ပြဿနာ ဖြစ်ပါသည်။
# Hypothesis Function: h_w(x) = w_1 * Year + w_0
# Loss Function (Ordinary Least Squares / L2 Loss):
# Loss(h_w) = Sum_{j=1 to N} (y_j - (w_1 * x_j + w_0))^2 ကို အနည်းဆုံးဖြစ်အောင်
# ဝိတ်တန်ဖိုး (Slope w_1 နှင့် Intercept w_0) တို့ကို တွက်ချက်ရှာဖွေပေးသည်။
# ==============================================================================
model = linear_model.LinearRegression()

# ==============================================================================
# TODO 3: 1986 ခုနှစ်မတိုင်မီ ဒေတာများကို ကိုယ်တိုင်ဖြတ်တောက်ယူခြင်း (Manual Temporal Slicing)
# AIMA (4th Ed.) Ch. 19, Sec. 19.2 & 19.9 (Generalization & Stationarity Assumption)
# သီအိုရီ - အချိန်ကာလအလိုက် ပြောင်းလဲသော ဒေတာ (Time-series) တွင် အတိတ်ဒေတာ (< 1986) ဖြင့်
# သင်ကြားပြီး အနာဂတ်ကို ခန့်မှန်းရန် ရည်ရွယ်သောကြောင့် ကျပန်းခွဲထုတ်ခြင်း (Random Split) မသုံးဘဲ
# အချိန်ပိုင်းခြား၍ (Temporal Split) ခွဲထုတ်ရပါသည်။
# မှတ်ချက် - scikit-learn အတွက် X_train သည် 2D DataFrame [['Year']] ဖြစ်ရမည်။
# ==============================================================================
tempDF = X[X.Year < 1986]
X_train = tempDF[['Year']] # Shape: (n_samples, 1) -> 2D DataFrame
y_train = tempDF['WhiteMale'] # Shape: (n_samples,) -> 1D Series

# ==============================================================================
# TODO 4: WhiteMale အတွက် မော်ဒယ်လေ့ကျင့်ခြင်း (fit) နှင့် ခန့်မှန်းမျဉ်း ဆွဲခြင်း
# ==============================================================================
model.fit(X_train, y_train)
print(f"[WhiteMale Model] Slope (w1 = +{model.coef_[0]:.4f} yrs/yr), Intercept (w0 = {model.intercept_:.2f})")
drawLine(model, X_train, y_train, 'WhiteMale')

# ==============================================================================
# TODO 5: ၂၀၁၄ ခုနှစ် အမှန်တကယ် WhiteMale လူ့သက်တမ်းကို ထုတ်ပြခြင်း
# ==============================================================================
actual_2014_wm = X[X.Year == 2014]['WhiteMale'].values[0]
print(f"Actual 2014 WhiteMale Life Expectancy: {actual_2014_wm:.2f}\n")

# ==============================================================================
# TODO 6: BlackFemale အတွက် အထက်ပါ လုပ်ငန်းစဉ်အတိုင်း ထပ်မံလုပ်ဆောင်ခြင်း
# AIMA (4th Ed.) Ch. 19, Sec. 19.6 (Comparing Regression Slopes Across Sub-populations)
# ==============================================================================
y_train_bf = tempDF['BlackFemale']
model_bf = linear_model.LinearRegression()
model_bf.fit(X_train, y_train_bf)

print(f"[BlackFemale Model] Slope (w1 = +{model_bf.coef_[0]:.4f} yrs/yr), Intercept (w0 = {model_bf.intercept_:.2f})")
drawLine(model_bf, X_train, y_train_bf, 'BlackFemale')

actual_2014_bf = X[X.Year == 2014]['BlackFemale'].values[0]
print(f"Actual 2014 BlackFemale Life Expectancy: {actual_2014_bf:.2f}\n")

# ==============================================================================
# TODO 7: Dataset တစ်ခုလုံး၏ Correlation Matrix တွက်ချက်ခြင်းနှင့် Heatmap ပုံဖော်ခြင်း
# AIMA (4th Ed.) Ch. 19, Sec. 19.6 & 19.9 (Feature Correlation & Multicollinearity)
# သီအိုရီ - Pearson Correlation Coefficient (r) သည် ကော်လံနှစ်ခုကြား မျဉ်းဖြောင့်ဆက်နွှယ်မှု
# အားပြင်းပုံ (-1.0 မှ +1.0 အတွင်း) ကို တိုင်းတာသည်။ ကော်လံအားလုံးသည် ဆေးပညာနှင့်
# ပြည်သူ့ကျန်းမာရေး တိုးတက်မှုဟူသော တူညီသည့် Latent Cause အောက်တွင် ရှိနေသောကြောင့်
# အချင်းချင်း အလွန်မြင့်မားစွာ ဆက်စပ်နေ (Strong Positive Correlation / Collinearity) ပါသည်။
# ==============================================================================
corr_matrix = X.corr()
print("Dataset Correlation Matrix:\n", corr_matrix.round(4))

fig_corr = plt.figure(figsize=(8, 6.5))
plt.grid(False) # ggplot စတိုင်၏ ဇယားမျဉ်းဖြူများ Heatmap ပေါ်တွင် မပေါ်စေရန် ပိတ်ထားခြင်း
plt.imshow(corr_matrix, cmap=plt.cm.Blues, interpolation='nearest', vmin=0.9, vmax=1.0)
plt.colorbar(label='Pearson Correlation (r)')

tick_marks = [i for i in range(len(X.columns))]
plt.xticks(tick_marks, X.columns, rotation='vertical')
plt.yticks(tick_marks, X.columns)
plt.title('Life Expectancy Dataset Correlation Matrix', fontsize=12, fontweight='bold')
plt.tight_layout()
plt.show()

 

ရလဒ်များကို သီအိုရီရှုထောင့်မှ သုံးသပ်ချက်

  1. Extrapolation အမှား (2014 ခန့်မှန်းချက် vs. အမှန်တကယ်တန်ဖိုး)
    • ၁၉၈၆ မတိုင်မီ ဒေတာများဖြင့် တွက်ချက်လိုက်သော မော်ဒယ်သည် ၂၀၁၄ ခုနှစ် WhiteMale နှင့် BlackFemale သက်တမ်းများကို အမှန်တကယ် ရှိနေသော တန်ဖိုးထက် ပိုများ၍ ခန့်မှန်းမိ (Overestimate) ပါလိမ့်မည်။
    • Ch. 19, Sec. 19.2 & 19.9 သဘောတရား Supervised Learning ၏ အခြေခံယူဆချက်ဖြစ်သော Stationarity Assumption (အနာဂတ်ဒေတာများသည် အတိတ်ဒေတာများ၏ ဖြန့်ကျက်ပုံအတိုင်း ဆက်လက်တည်ရှိမည်ဟူသော ယူဆချက်) သည် ရေရှည် Extrapolation တွင် ပျက်ပြယ်သွားတတ်ပါသည်။ ၂၀ ရာစု အစောပိုင်းတွင် ပဋိဇီဝဆေးဝါးများနှင့် ကာကွယ်ဆေးများကြောင့် လူ့သက်တမ်း တိုးတက်နှုန်း အလွန်မြန်ဆန်ခဲ့သော်လည်း၊ နောက်ပိုင်းနှစ်များတွင် ဇီဝဗေဒဆိုင်ရာ သက်တမ်းကန့်သတ်ချက် (Biological Ceiling) ကြောင့် တိုးတက်နှုန်း နှေးကွေးပြားကပ် (Non-linear Saturation) သွားသောကြောင့် ဖြစ်ပါသည်။
  2. Slope () ကွာခြားချက် (WhiteMale vs. BlackFemale)
    • BlackFemale ၏ Regression Line ဆင်ခြေလျှော () သည် WhiteMale ထက် ပိုမိုမတ်စောက်သည်ကို တွေ့ရပါမည်။ အကြောင်းမှာ ၁၉၀၀ ပြည့်နှစ် ဝန်းကျင်တွင် အခြေခံသက်တမ်း အလွန်နိမ့်ကျနေရာမှ ၂၀ ရာစုအတွင်း ကျန်းမာရေးစောင့်ရှောက်မှု တိုးတက်လာမှုနှင့်အတူ သက်တမ်းတိုးတက်မှုနှုန်း ပိုမိုမြန်ဆန်ခဲ့သောကြောင့် ဖြစ်ပါသည်။
  3. Correlation Matrix (X.corr())
    • ဇယားတစ်ခုလုံးရှိ တန်ဖိုးများသည် 0.95 မှ 1.00 အတွင်း အပြာရင့်ရောင်များ ဖြစ်နေသည်ကို တွေ့ရပါမည်။ ဤသည်မှာ AIMA Section 19.6 တွင် ဖော်ပြထားသော Strong Positive Linear Correlation ဖြစ်ပြီး လူမျိုးနှင့် ကျား/မ အုပ်စုအားလုံး၏ သက်တမ်းသည် အချိန်ကာလနှင့်အမျှ တစ်ပြိုင်နက်တည်း တိုးတက်ပြောင်းလဲလာကြောင်း ပြသနေပါသည်။

 
ထွက်ပေါ်လာသော Life Expectancy Dataset Correlation Matrix Heatmap ပုံသည် အမေရိကန်ပြည်ထောင်စု၏ လူဦးရေအုပ်စုအသီးသီးကြားမှ လူ့သက်တမ်း တိုးတက်ပြောင်းလဲမှုပုံစံကို တစ်ချက်တည်းဖြင့် ခြုံငုံမြင်သာစေသည့် အလွန်အဓိပ္ပာယ်ပြည့်ဝသော ရလဒ်တစ်ခု ဖြစ်ပါသည်။

၁။ ဂရပ်ဖ်၏ ဖွဲ့စည်းပုံနှင့် အခြေခံ သင်္ချာဂုဏ်သတ္တိများ

  • Color Scale (0.90 မှ 1.00 အတွင်း) ညာဘက်ရှိ Pearson Correlation () အရောင်စကေးသည် အနိမ့်ဆုံး 0.90 (အပြာနုရောင်ဖျော့ဖျော့) မှ အမြင့်ဆုံး 1.00 (အပြာရင့်ရောင်) အထိ ရှိပါသည်။ ဆိုလိုသည်မှာ ဇယားတစ်ခုလုံးရှိ မည်သည့်ကော်လံနှစ်ခုကိုမဆို နှိုင်းယှဉ်ကြည့်ပါက ဆက်နွှယ်မှုကိန်း  အထက်တွင် ရှိနေပြီး အလွန်အားကောင်းသော အပေါင်းလက္ခဏာ ဆက်စပ်မှု (Strong Positive Correlation) ရှိနေကြောင်း ပြသနေပါသည်။
  • Main Diagonal (r = 1.00) ဘယ်ဘက်အပေါ်ထောင့် (Year vs Year) မှ ညာဘက်အောက်ထောင့် (BlackFemale vs BlackFemale) အထိ ထောင့်ဖြတ်မျဉ်းတစ်လျှောက် အရင့်ဆုံး အပြာရောင်အကွက် ၅ ကွက်သည် Variable တစ်ခုချင်းစီ၏ ၎င်းကိုယ်တိုင်နှင့် ပြန်လည်ဆက်စပ်မှု () ဖြစ်ပါသည်။
  • Symmetry (ခေါက်ချိုးညီမှု) ထောင့်ဖြတ်မျဉ်း၏ အပေါ်ဘက်တြိဂံနှင့် အောက်ဘက်တြိဂံတို့သည် တစ်ထပ်တည်း ခေါက်ချိုးညီ () နေပါသည်။

 

၂။ ဂရပ်ဖ်ထဲမှ ထူးခြားသော အချက်အလက် ၃ ခုကို အသေးစိတ် ခွဲခြမ်းစိတ်ဖြာချက်

၁။ Year နှင့် နှိုင်းယှဉ်ရာတွင် WhiteMale က အရင့်ဆုံးဖြစ်ပြီး WhiteFemale က အဖျော့ဆုံး ဖြစ်နေခြင်း

  • ပထမဆုံး အတန်း (Year) ကို ဘယ်မှညာသို့ ကြည့်လိုက်ပါက WhiteMale () သည် အပြာရင့်ရောင် အဖြစ်ဆုံးဖြစ်ပြီး၊ ထို့နောက် BlackMale ()၊ BlackFemale () နှင့် နောက်ဆုံးတွင် WhiteFemale ( — အဖြူရောင်သန်းသော အပြာဖျော့ဆုံးအကွက်) ဟူ၍ အဆင့်ဆင့် အရောင်ဖျော့သွားသည်ကို တွေ့ရပါသည်။
  • အဓိပ္ပာယ်ဖွင့်ဆိုချက် Pearson Correlation () သည် "မျဉ်းဖြောင့်အတိုင်း (Linear)" မည်မျှတိုးတက်သလဲ ဆိုသည်ကိုသာ တိုင်းတာပါသည်။ WhiteMale ၏ သက်တမ်းသည် နှစ်အလိုက် မျဉ်းဖြောင့်နီးပါး တစ်သမတ်တည်း တိုးတက်လာခဲ့သော်လည်း၊ WhiteFemale ၏ သက်တမ်းမှာမူ ၂၀ ရာစု အစောပိုင်းတွင် မီးဖွားစဉ်သေဆုံးမှုနှင့် ကူးစက်ရောဂါများ လျော့နည်းသွားမှုကြောင့် အလွန်လျင်မြန်စွာ မြင့်တက်ခဲ့ပြီး နောက်ပိုင်းနှစ်များတွင် သက်တမ်းကန့်သတ်ချက်ကြောင့် ပြားကပ်ကွေးညွှတ် (Concave / Non-linear Curve) သွားသောကြောင့် မျဉ်းဖြောင့်တိုင်းတာမှု  တန်ဖိုး အနည်းငယ် လျော့နည်းနေခြင်း ဖြစ်ပါသည်။

 

၂။ Year ထက် လူမျိုး/ကျားမ အုပ်စုအချင်းချင်း ဆက်စပ်မှုက ပိုမိုမြင့်မားနေခြင်း

  • ဇယားထဲတွင် အလွန်စိတ်ဝင်စားဖွယ်ကောင်းသော အချက်မှာ WhiteFemale နှင့် BlackFemale ကြား ဆက်စပ်မှု () နှင့် WhiteMale နှင့် BlackMale ကြား ဆက်စပ်မှု () တို့သည် ၎င်းတို့တစ်ဦးချင်းစီ၏ Year နှင့် ဆက်စပ်မှုထက်ပင် ပိုမိုရင့်မှည့်နေခြင်း ဖြစ်ပါသည်။
  • အဓိပ္ပာယ်ဖွင့်ဆိုချက် မျဉ်းဖြောင့်မဟုတ်သော အကွေးပုံစံ (Non-linear trajectory) ချင်း တူညီနေသောကြောင့် ဖြစ်ပါသည်။ WhiteFemale နှင့် BlackFemale နှစ်အုပ်စုလုံးသည် ဆေးပညာနှင့် ပြည်သူ့ကျန်းမာရေး ပြောင်းလဲမှုများအပေါ် တစ်ထပ်တည်းနီးပါး တူညီသော အကွေးပုံစံဖြင့် တုံ့ပြန်တိုးတက်ခဲ့ကြသဖြင့် အချင်းချင်းကြား Linear Correlation မှာ 0.99 နီးပါး အလွန်မြင့်မားနေခြင်း ဖြစ်ပါသည်။

 

၃။ ကျား/မ အလိုက် စုစည်းမှု ပုံစံ (Gender-based Clustering)

  • WhiteFemale နှင့် BlackFemale ကြား ဆက်စပ်မှု () သည် အမျိုးသမီးအချင်းချင်း ဖြစ်သောကြောင့် အမြင့်ဆုံးဖြစ်နေပြီး၊ WhiteMale နှင့် BlackMale ကြား ဆက်စပ်မှု () က ဒုတိယအမြင့်ဆုံး ဖြစ်နေသည်ကို တွေ့ရပါသည်။ ဤသည်မှာ ဇီဝဗေဒဆိုင်ရာနှင့် လူမှုစီးပွားဆိုင်ရာ အကြောင်းတရားများကြောင့် အမျိုးသားအုပ်စုများနှင့် အမျိုးသမီးအုပ်စုများ၏ သက်တမ်းပြောင်းလဲပုံ လမ်းကြောင်းချင်း ပိုမိုနီးစပ်ကြောင်း ပြသနေပါသည်။

 

၃။ AIMA စာအုပ်ပါ သီအိုရီများနှင့် ချိတ်ဆက်သုံးသပ်ချက်

  1. Correlation vs. Causation & Common Cause Structure (Chapter 13 & Chapter 21)
    • WhiteFemale နှင့် BlackFemale ကြားတွင်  ရှိနေခြင်းသည် တစ်ခုက တစ်ခုကို တိုက်ရိုက်ဖြစ်ပေါ်စေခြင်း (Direct Causation) မဟုတ်ပါ။ AIMA Bayesian Networks (Chapter 13) နှင့် Probabilistic Models (Chapter 21) တို့တွင် ရှင်းပြထားသော Common Cause Structure () အရ ၎င်းတို့နှစ်ခုလုံး၏ နောက်ကွယ်တွင် "ဆေးပညာ၊ အာဟာရနှင့် လူနေမှုအဆင့်အတန်း တိုးတက်မှု ()" ဟူသော ဘုံအကြောင်းတရား (Hidden Common Cause) တစ်ခုတည်းက အတူတကွ တွန်းတင်ပေးနေသောကြောင့် ဖြစ်ပါသည်။

 

  1. Pearson  ၏ Non-linearity အကန့်အသတ် (Chapter 19, Section 19.6)
    • Year နှင့် WhiteFemale ကြား  သည် ကျန်အကွက်များထက် အရောင်ဖျော့နေသော်လည်း ဆက်စပ်မှု အားနည်းသည်ဟု မဆိုလိုပါ။ AIMA Section 19.6 တွင် ဖော်ပြထားသည့်အတိုင်း Linear Regression သည် မျဉ်းဖြောင့်တစ်ကြောင်းတည်းဖြင့်သာ တိုင်းတာသဖြင့် ဒေတာတွင် အကွေး (Curvature) ပါဝင်လာသောအခါ  တန်ဖိုးနှင့်  Score တို့ လျော့ကျသွားခြင်း ဖြစ်ပါသည်။ ထိုအခြေအနေမျိုးတွင် Polynomial Regression (ဥပမာ- ) ကို ပြောင်းသုံးပါက ပိုမိုတိကျစွာ ဖမ်းယူနိုင်မည် ဖြစ်ပါသည်။

 

  1. Multicollinearity သတိပေးချက် (Chapter 19, Section 19.6 & 19.9)
    • အကယ်၍ ကျွန်ုပ်တို့သည် WhiteMale ၏ သက်တမ်းကို ခန့်မှန်းရန် Year, WhiteFemale, BlackMale, BlackFemale အားလုံးကို Input Feature () များအဖြစ် တစ်ပြိုင်နက် ထည့်သွင်း၍ Multivariate Linear Regression တည်ဆောက်ပါက Feature အားလုံးကြား  အထိ အလွန်မြင့်မားစွာ ဆက်စပ်နေသဖြင့် Multicollinearity (Feature Redundancy) ပြဿနာ ဖြစ်ပေါ်ပါမည်။ ထိုအခါ Model ၏ ဝိတ်တန်ဖိုး () များ မတည်မငြိမ်ဖြစ်ခြင်းနှင့် Overfitting ဖြစ်ခြင်းတို့ကို ကြုံတွေ့ရနိုင်ကြောင်း ဤ Correlation Matrix က ကြိုတင်သတိပေးနေပါသည်။

No comments:

Post a Comment

Note: Only a member of this blog may post a comment.