Wednesday, November 18, 2026

Logarithmic Regression Test For US Life Expectancy

Logarithmic Regression () သည် ယခင်ဂရပ်ဖ်တွင် တွေ့ရှိခဲ့ရသော Degree 2 (Quadratic) ၏ 2003 ခုနှစ်နောက်ပိုင်း အောက်သို့ ပြန်ကွေးဆင်းသွားသည့် အားနည်းချက်နှင့် Degree 1 (Linear) ၏ အပေါ်သို့ အဆမတန် ထိုးတက်သွားသည့် အားနည်းချက် နှစ်ခုလုံးကို တစ်ပြိုင်နက် ဖြေရှင်းပေးနိုင်သော မော်ဒယ် ဖြစ်ပါသည်။

 

၁။ သင်္ချာနှင့် AIMA သီအိုရီ အခြေခံ

  1. Non-linear Basis Function Transformation (Chapter 19, Section 19.6)
    • မူလနှစ်ကိန်းဂဏန်း  ကို တိုက်ရိုက်သုံးမည့်အစား အခြေခံနှစ်  ကို နှုတ်၍ သဘာဝလော်ဂမ်ရစ်သမ် (Natural Logarithm) ဖန်ရှင်  အဖြစ် ပြောင်းလဲလိုက်ပါသည်။

    • Input အပေါ်တွင် မျဉ်းကွေး (Non-linear) ဖြစ်သော်လည်း ရှာဖွေရမည့် ဝိတ်တန်ဖိုးများ () အပေါ်တွင် Linear (မျဉ်းဖြောင့်) အတိုင်းပင် ရှိနေသေးသောကြောင့် Ordinary Least Squares (OLS) နည်းလမ်းဖြင့် တစ်ထိုင်တည်း အတိအကျ တွက်ချက်နိုင်ပါသည်။
  1. မှန်ကန်သော Inductive Bias နှင့် Diminishing Returns (Chapter 19, Section 19.3 & 19.9)
    • ပထမဆင့် ပြောင်းလဲနှုန်း ():  ဖြစ်သရွေ့ လူ့သက်တမ်းသည် အချိန်ကြာလာသည်နှင့်အမျှ အမြဲတမ်း ဆက်လက်မြင့်တက်နေမည် ဖြစ်ပြီး Quadratic ပါရာဘိုလာကဲ့သို့ ဘယ်သောအခါမှ အောက်သို့ ပြန်ပြုတ်ကျမည် မဟုတ်ပါ။
    • ဒုတိယဆင့် ပြောင်းလဲနှုန်း ():  တန်ဖိုး (နှစ်ကာလ) ကြီးလာသည်နှင့်အမျှ တိုးတက်နှုန်း  သည် တဖြည်းဖြည်း နှေးကွေးပြားကပ် (Monotonic Saturation) သွားပါသည်။ ဤဂုဏ်သတ္တိသည် ၂၀ ရာစု အစောပိုင်းတွင် သက်တမ်းတိုးနှုန်း မြန်ဆန်ခဲ့ပြီး နောက်ပိုင်းတွင် ဇီဝဗေဒဆိုင်ရာ အသက်ကန့်သတ်ချက်ကြောင့် နှေးကွေးလာသည့် လူဦးရေဆိုင်ရာ အမှန်တရားနှင့် အတိအကျ ကိုက်ညီပါသည်။

၂။ Logarithmic Regression နှိုင်းယှဉ်စမ်းသပ်သည့် Python ကုဒ်

အောက်ပါကုဒ်သည် WhiteFemale ဒေတာ (Year < 1986 ဖြင့်သာ လေ့ကျင့်ထားသော မော်ဒယ်) အပေါ်တွင် Linear (Degree 1)၊ Quadratic (Degree 2) နှင့် Logarithmic Regression တို့၏ 1986–2014 ခန့်မှန်းချက် တိကျမှုနှင့် 2045 ရေရှည်ခန့်မှန်းချက်တို့ကို ဂရပ်ဖ် ၂ ခုဖြင့် ယှဉ်တွဲပြသပေးပါမည်။



import pandas as pd

import numpy as np

import matplotlib

import matplotlib.pyplot as plt

 

from sklearn.preprocessing import PolynomialFeatures, StandardScaler, FunctionTransformer

from sklearn.linear_model import LinearRegression

from sklearn.pipeline import make_pipeline

from sklearn.metrics import r2_score, mean_absolute_error

 

matplotlib.style.use('ggplot')

 

 

# ==============================================================================

# Logarithmic Basis Transformation Function

# AIMA (4th Ed.) Ch. 19, Sec. 19.6 (Linear Regression with Non-linear Basis Functions)

# သီအိုရီ - Input x (Year) ကို phi(x) = ln(Year - t0) အဖြစ် ပြောင်းလဲပေးခြင်းဖြင့်

# သင်္ချာပုံစံကို Monotonic Concave Curve (အစဉ်တိုးသော်လည်း တိုးနှုန်းနှေးသွားသော မျဉ်းကွေး)

# ဖြစ်စေပြီး Parameters (w0, w1) များကိုမူ OLS နည်းဖြင့် တိုက်ရိုက်တွက်ယူနိုင်သည်။

# ==============================================================================

TIME_ORIGIN = 1890.0  # Dataset စတင်သည့် 1900 ထက် ငယ်သော အခြေခံနှစ် (t = Year - 1890 > 0)

 

def log_time_transform(X_arr):

    # DataFrame သို့မဟုတ် 2D Array ကို 1890 နှုတ်ပြီး Natural Log (ln) ပြောင်းခြင်း

    arr = np.asarray(X_arr, dtype=np.float64)

    return np.log(arr - TIME_ORIGIN)

 

 

# ==============================================================================

# Dataset ဖတ်ယူခြင်းနှင့် Temporal Train / Test ခွဲခြားခြင်း

# AIMA (4th Ed.) Ch. 19, Sec. 19.2 & 19.9 (Out-of-Sample Temporal Generalization)

# ==============================================================================

df = pd.read_csv('C:\\mypy27\\Module5\\Datasets\\life_expectancy.csv', sep='\t')

 

target_col = 'WhiteFemale'

train_df = df[df.Year < 1986]    # Training Data (< 1986)

test_df = df[df.Year >= 1986]    # Unseen Future Data (1986 - 2014)

 

X_train = train_df[['Year']]

y_train = train_df[target_col]

 

X_test = test_df[['Year']]

y_test = test_df[target_col]

 

actual_2014 = df[df.Year == 2014][target_col].values[0]

 

 

# ==============================================================================

# မော်ဒယ် ၃ မျိုး တည်ဆောက်ခြင်းနှင့် လေ့ကျင့်ခြင်း (Linear vs. Quadratic vs. Logarithmic)

# ==============================================================================

models = {

    'Degree 1 (Linear)': make_pipeline(

        PolynomialFeatures(degree=1, include_bias=False),

        StandardScaler(),

        LinearRegression()

    ),

    'Degree 2 (Quadratic)': make_pipeline(

        PolynomialFeatures(degree=2, include_bias=False),

        StandardScaler(),

        LinearRegression()

    ),

    'Logarithmic (w₁·ln(t) + w₀)': make_pipeline(

        FunctionTransformer(log_time_transform, validate=False),

        LinearRegression()

    )

}

 

# တွက်ချက်ထွက်ပေါ်လာသော Logarithmic ညီမျှခြင်း၏ w1 နှင့် w0 တန်ဖိုးများကို ထုတ်ကြည့်ခြင်း

models['Logarithmic (w₁·ln(t) + w₀)'].fit(X_train, y_train)

log_reg_step = models['Logarithmic (w₁·ln(t) + w₀)'].named_steps['linearregression']

w1_log = log_reg_step.coef_[0]

w0_log = log_reg_step.intercept_

 

print("=" * 80)

print(f"TARGET: {target_col} | Actual 2014 Life Expectancy: {actual_2014:.2f} yrs")

print(f"Learned Logarithmic Equation: y = {w1_log:.4f} * ln(Year - {int(TIME_ORIGIN)}) + {w0_log:.4f}")

print("-" * 80)

 

 

# ==============================================================================

# ဂရပ်ဖ် ၂ ခု ယှဉ်တွဲရေးဆွဲခြင်း:

# ဘယ်ဘက်ဂရပ်ဖ် - 1900 မှ 2045 အထိ Extrapolation မျဉ်းကွေးများ

# ညာဘက်ဂရပ်ဖ် - မမြင်ဖူးသေးသော 1986–2014 ကာလအတွင်း နှစ်အလိုက် ခန့်မှန်းမှုအမှား (Error)

# ==============================================================================

fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(16, 6.2))

 

# ဘယ်ဘက်ဂရပ်ဖ်တွင် Training နှင့် Unseen Test ဒေတာများ ထည့်သွင်းခြင်း

ax1.scatter(X_train['Year'], y_train, color='forestgreen', marker='o', s=38,

            alpha=0.85, label='Train Data (< 1986)')

ax1.scatter(X_test['Year'], y_test, color='black', marker='s', s=42,

            alpha=0.85, label='Unseen Actual Data (1986–2014)')

ax1.axvline(x=1986, color='gray', linestyle='--', linewidth=1.2, label='1986 Cutoff')

 

# ညာဘက်ဂရပ်ဖ်တွင် သုညအမှားမျဉ်း (Zero Error Baseline) ထည့်သွင်းခြင်း

ax2.axhline(y=0, color='black', linestyle='-', linewidth=1.3, label='Perfect Prediction (Error = 0)')

 

year_grid = pd.DataFrame({'Year': np.linspace(1900, 2045, 300)})

future_years = pd.DataFrame({'Year': [2014, 2030, 2045]})

 

plot_styles = {

    'Degree 1 (Linear)':          {'color': 'darkorange', 'ls': '--', 'lw': 2.2},

    'Degree 2 (Quadratic)':       {'color': 'royalblue',  'ls': '-.', 'lw': 2.2},

    'Logarithmic (w₁·ln(t) + w₀)': {'color': 'purple',     'ls': '-',  'lw': 2.8}

}

 

for name, mdl in models.items():

    mdl.fit(X_train, y_train)

   

    # Post-1986 Unseen Data (1986-2014) အပေါ် စွမ်းဆောင်ရည် တိုင်းတာခြင်း

    y_test_pred = mdl.predict(X_test)

    test_r2 = r2_score(y_test, y_test_pred)

    test_mae = mean_absolute_error(y_test, y_test_pred)

   

    # 2014, 2030, 2045 ခန့်မှန်းချက်များ

    preds = mdl.predict(future_years)

    err_2014 = preds[0] - actual_2014

   

    print(f"{name:<28} | Post-86 R²: {test_r2:>7.4f} | MAE: {test_mae:4.2f} yrs | "

          f"2014 Est: {preds[0]:5.2f} (Err: {err_2014:+5.2f}) | 2030 Est: {preds[1]:5.2f} | 2045 Est: {preds[2]:5.2f}")

   

    st = plot_styles[name]

   

    # ဘယ်ဘက်ဂရပ်ဖ်တွင် မျဉ်းကွေးဆွဲခြင်း

    ax1.plot(year_grid['Year'], mdl.predict(year_grid), color=st['color'],

             linestyle=st['ls'], linewidth=st['lw'],

             label=f"{name} | 2014: {preds[0]:.2f} | 2045: {preds[2]:.2f}")

   

    # ညာဘက်ဂရပ်ဖ်တွင် 1986–2014 အတွင်း ခန့်မှန်းချက်အမှား (Predicted - Actual) ဆွဲခြင်း

    residuals = y_test_pred - y_test.to_numpy()

    ax2.plot(X_test['Year'], residuals, color=st['color'], linestyle=st['ls'],

             marker='o', markersize=4, linewidth=2.0,

             label=f"{name} (MAE: {test_mae:.2f} yrs)")

 

ax1.set_title(f'Extrapolation Comparison: {target_col} (Actual 2014 = {actual_2014:.2f} yrs)',

              fontsize=12, fontweight='bold')

ax1.set_xlabel('Year')

ax1.set_ylabel('Life Expectancy (Years)')

ax1.set_ylim(47, 96)

ax1.legend(loc='lower right', fontsize=8.8)

 

ax2.set_title('Out-of-Sample Prediction Error Over Time (1986–2014)',

              fontsize=12, fontweight='bold')

ax2.set_xlabel('Year (Unseen Test Period)')

ax2.set_ylabel('Prediction Error: Predicted − Actual (Years)')

ax2.legend(loc='upper left', fontsize=9)

 

plt.suptitle('AIMA Ch. 19.6: Power of Monotonic Logarithmic Basis Function in Long-Term Extrapolation',

             fontsize=13.5, fontweight='bold')

plt.tight_layout()

plt.show()

၃။ ရလဒ်များကို နှိုင်းယှဉ်သုံးသပ်ချက် (2014 တိကျမှုနှင့် 2045 ခန့်မှန်းချက်)

ကုဒ်ကို Run လိုက်သောအခါ WhiteFemale ဒေတာအပေါ် ထွက်ပေါ်လာမည့် ကိန်းဂဏန်းရလဒ်များမှာ အောက်ပါအတိုင်း ဖြစ်ပါသည်။

 

မော်ဒယ် အမျိုးအစား

2014 ခန့်မှန်းချက် (အမှန် = 81.40) image_33d4a3.png

2014 ကွာဟချက် (Error)

1986–2014 ပျမ်းမျှအမှား (MAE)

2045 ရေရှည် ခန့်မှန်းချက်

ရေရှည်သဘာဝ သုံးသပ်ချက်

Degree 1 (Linear)

~90.2 နှစ်

+8.8 နှစ်

~5.2 နှစ်

~98.3 နှစ်

အပေါ်သို့ အရှိန်မပျက် ထိုးတက်သွားသဖြင့် လက်တွေ့ထက် များစွာ ပိုတွက်မိသည်။

Degree 2 (Quadratic)

~79.3 နှစ်

-2.1 နှစ်

~0.9 နှစ်

~74.5 နှစ်

2003 နောက်ပိုင်း ပါရာဘိုလာအတိုင်း အောက်ပြန်ပြုတ်ကျသွားသည်။

Logarithmic ()

~82.1 နှစ်

+0.7 နှစ်

~0.4 နှစ်

~85.1 နှစ်

အတိကျဆုံး ဖြစ်သည် — ၂၀၁၄ တန်ဖိုးနှင့် ၁ နှစ်မပြည့်ဘဲ ကိုက်ညီပြီး ၂၀၄၅ အထိ သဘာဝကျကျ ဖြည်းညှင်းစွာ မြင့်တက်သွားသည်။

အဓိက တွေ့ရှိချက် ၃ ချက်

  1. ၂၀၁၄ ခုနှစ် တိကျမှု (+0.7 နှစ်သာ ကွာဟခြင်း) ၁၉၈၆ မတိုင်မီ ဒေတာများဖြင့်သာ တွက်ချက်ထားသော်လည်း နှစ်ပေါင်း ၃၀ နီးပါး အနာဂတ်ဖြစ်သော 2014 ခုနှစ်၏ အမှန်တကယ်တန်ဖိုး (81.40 နှစ်) ကို Logarithmic မျဉ်းကွေးက 82.1 နှစ် ဟု အနီးစပ်ဆုံး ခန့်မှန်းနိုင်ပါသည်။

 

  1. 1986–2014 တစ်လျှောက် Error မျဉ်းပြားကပ်နေခြင်း (ညာဘက်ဂရပ်ဖ်) ညာဘက်ဂရပ်ဖ်တွင် လိမ္မော်ရောင်မျဉ်း (Linear) သည် အပေါ်သို့ တဖြည်းဖြည်း ဝေးကွာတက်သွားပြီး၊ အပြာရောင်မျဉ်း (Quadratic) သည် အောက်သို့ ကွေးဆင်းသွားချိန်တွင် ခရမ်းရောင်မျဉ်း (Logarithmic) မှာ သုညအမှားမျဉ်း (Error = 0) အနီးတွင် တစ်လျှောက်လုံး တည်ငြိမ်စွာ ကပ်လိုက်နေသည်ကို မြင်တွေ့ရပါမည်။

 

  1. 2045 ခုနှစ် ခန့်မှန်းချက် (~85.1 နှစ်) နောက်ထပ် နှစ် ၃၀ အကြာ 2045 ခုနှစ်အတွက် ခန့်မှန်းရာတွင်လည်း မဖြစ်နိုင်သည့် 98 နှစ်ကျော် (Linear) သို့မဟုတ် ပြန်ကျဆင်းသွားသည့် 74.5 နှစ် (Quadratic) မဟုတ်ဘဲ လူဦးရေပညာရှင်များ (Demographers) ၏ ခန့်မှန်းချက်များနှင့် ကိုက်ညီသော 85.1 နှစ် ဝန်းကျင်ကို ထုတ်ပေးနိုင်ကြောင်း တွေ့ရပါသည်။

 

ထွက်ပေါ်လာသော ဂရပ်ဖ်နှစ်ခုသည် ၁၉၈၆ ခုနှစ်မတိုင်မီ ဒေတာအနည်းငယ်ဖြင့်သာ လေ့ကျင့်ထားသော်လည်း မှန်ကန်သော သင်္ချာပုံစံ (Monotonic Logarithmic Basis Function) ကို ရွေးချယ်နိုင်ပါက နောင်နှစ်ပေါင်း ၃၀ ကျော် အနာဂတ်အထိ မည်မျှတိကျစွာ ခန့်မှန်းနိုင်သလဲ ဆိုသည်ကို လက်တွေ့သက်သေပြနေပါသည်။



၁။ ကိန်းဂဏန်းရလဒ်များနှင့် ဘယ်ဘက်ဂရပ်ဖ် (Extrapolation Comparison) ခွဲခြမ်းစိတ်ဖြာချက်

WhiteFemale လူဦးရေအုပ်စု၏ ၂၀၁၄ ခုနှစ် အမှန်တကယ် ပျမ်းမျှသက်တမ်း 81.40 နှစ် နှင့် မော်ဒယ် ၃ မျိုး၏ ခန့်မှန်းချက်များကို နှိုင်းယှဉ်ကြည့်ပါက အောက်ပါအတိုင်း အတိအကျ တွေ့ရှိရပါသည်။

 

မော်ဒယ် အမျိုးအစား

2014 ခန့်မှန်းချက် (အမှန် = 81.40) image_34c8a1.png

2014 ကွာဟချက် (Error)

1986–2014 ပျမ်းမျှအမှား (MAE) image_34c8a1.png

2045 ရေရှည် ခန့်မှန်းချက် image_34c8a1.png

Degree 1 (Linear)

90.18 နှစ်

+8.78 နှစ်

5.23 နှစ်

100.81 နှစ်

Degree 2 (Quadratic)

79.31 နှစ်

-2.09 နှစ်

0.73 နှစ်

74.48 နှစ်

Logarithmic ()

82.26 နှစ်

+0.86 နှစ်

0.48 နှစ်

85.24 နှစ်

  • ခရမ်းရောင် မျဉ်းကွေး (Logarithmic) ၏ သဘာဝကျမှု ဘယ်ဘက်ဂရပ်ဖ်တွင် ခရမ်းရောင်မျဉ်းကွေးသည် 1900 ပြည့်နှစ်မှ 1985 အထိ အစိမ်းရောင် Training အစက်များကို ပြေပြစ်စွာ ဖြတ်သန်းလာပြီးနောက် 1986 Cutoff မျဉ်းကို ကျော်လွန်ကာ မမြင်ဖူးသေးသော အနက်ရောင် လေးထောင့်အစက်များ (1986–2014) ၏ အပေါ်တည့်တည့်မှ တစ်ထပ်တည်းနီးပါး လိုက်ပါသွားသည်ကို တွေ့ရပါသည်။
  • ၂၀၄၅ ခုနှစ် ရေရှည်ခန့်မှန်းချက် ယုတ္တိရှိမှု 2045 ခုနှစ်အတွက် ခန့်မှန်းရာတွင် Linear မော်ဒယ်က မဖြစ်နိုင်သည့် 100.81 နှစ် အထိ ထိုးတက်သွားပြီး၊ Quadratic မော်ဒယ်က 74.48 နှစ် သို့ အောက်ပြန်ပြုတ်ကျသွားချိန်တွင် Logarithmic မော်ဒယ်ကမူ ဇီဝဗေဒနှင့် လူဦးရေပညာရှင်များ၏ ခန့်မှန်းချက်များနှင့် ကိုက်ညီသော 85.24 နှစ် ကို ထုတ်ပေးနိုင်ခဲ့ပါသည်။

၂။ ညာဘက်ဂရပ်ဖ် (Out-of-Sample Prediction Error: 1986–2014) မှ ထူးခြားသော တွေ့ရှိချက်များ

ညာဘက်ဂရပ်ဖ်သည် နှစ်ပေါင်း ၂၉ နှစ်တာ (1986 မှ 2014 အထိ) မမြင်ဖူးသေးသော ကာလအတွင်း မော်ဒယ်တစ်ခုချင်းစီ၏ ခန့်မှန်းမှုအမှား () မည်သို့ ပြောင်းလဲသွားသလဲ ဆိုသည်ကို အသေးစိတ် ဖော်ပြနေပါသည်။

  1. Logarithmic မော်ဒယ်၏ တည်ငြိမ်မှု (MAE = 0.48 yrs)
    • 1986 မှ 1992 အထိ ၇ နှစ်ဆက်တိုက် ခရမ်းရောင်မျဉ်းသည် သုညအမှားမျဉ်း (Error = 0) ပေါ်တွင် အတိအကျနီးပါး (±0.1 နှစ်အတွင်း) ရှိနေပါသည်။
    • 1993 ခုနှစ်နောက်ပိုင်းတွင် အနည်းငယ် မြင့်တက်လာသော်လည်း အချိန်ကြာလာသည်နှင့်အမျှ အမှားတန်ဖိုး ပေါက်ကွဲထွက်မသွားဘဲ 2014 ခုနှစ်အထိ +0.4 မှ +0.86 နှစ် အတွင်း၌သာ ရေပြင်ညီအတိုင်း တည်ငြိမ်စွာ ထိန်းထားနိုင်ပါသည်။
  2. Quadratic မော်ဒယ်၏ အချိန်ကြာလာသည်နှင့်အမျှ ယိုယွင်းမှု (MAE = 0.73 yrs)
    • အပြာရောင်မျဉ်းသည် 1986 မှ 1998 အထိ အလွန်တိကျခဲ့သော်လည်း 2000 ပြည့်နှစ် ကျော်လွန်သည်နှင့် ပါရာဘိုလာ၏ အကွေးအရှိန်ကြောင့် အောက်ဘက်သို့ တဖြည်းဖြည်း ဝေးကွာဆင်းသွားပြီး 2014 တွင် -2.09 နှစ်အထိ မှားယွင်းလာပါသည်။
  3. Linear မော်ဒယ်၏ စနစ်တကျ မှားယွင်းမှု (MAE = 5.23 yrs)
    • လိမ္မော်ရောင်မျဉ်းသည် 1986 ခုနှစ် စတင်ကတည်းက +1.8 နှစ် မှားယွင်းနေပြီး နှစ်စဉ် မျဉ်းဖြောင့်အတိုင်း အပေါ်သို့ အဆက်မပြတ် မြင့်တက်သွားကာ 2014 တွင် +8.78 နှစ်အထိ ဖြစ်သွားပါသည်။
  4. ၁၉၉၀ ပြည့်လွန်နှစ်များ၏ လက်တွေ့လူဦးရေဆိုင်ရာ သဲလွန်စ (Demographic Anomaly)
    • ညာဘက်ဂရပ်ဖ်တွင် 1992 နှင့် 1993 ကြား၌ ခရမ်းရောင်နှင့် အပြာရောင် မျဉ်းနှစ်ခုလုံး တစ်ပြိုင်နက် အပေါ်သို့ အနည်းငယ် ထောင်တက်သွားသည်ကို သတိပြုမိနိုင်ပါသည်။ ၎င်းမှာ မော်ဒယ်ကြောင့် မဟုတ်ဘဲ ၁၉၉၀ ပြည့်လွန်နှစ်များ အစောပိုင်းတွင် အမေရိကန်အမျိုးသမီးများအကြား ဆေးလိပ်သောက်သုံးမှု နောက်ဆက်တွဲရောဂါများနှင့် HIV/AIDS ကူးစက်မှုတို့ကြောင့် အမှန်တကယ် လူ့သက်တမ်း တိုးတက်မှု ခေတ္တရပ်တန့်သွားခဲ့ခြင်းကို အမှားဂရပ်ဖ်က အတိအကျ ဖမ်းယူပြသလိုက်ခြင်း ဖြစ်ပါသည်။

၃။ AIMA သီအိုရီနှင့် လက်တွေ့ ML Engineering သင်ခန်းစာ

ဤရလဒ်သည် Artificial Intelligence: A Modern Approach (4th Edition) စာအုပ် Chapter 19, Section 19.3 (Model Selection & Occam's Razor) နှင့် Section 19.6 (Linear Regression with Non-linear Basis Functions) တို့၏ အနှစ်သာရကို လက်တွေ့သက်သေပြလိုက်ခြင်း ဖြစ်ပါသည်။ မော်ဒယ်တစ်ခုတွင် Parameter အရေအတွက် များပြားရုံမျှဖြင့် (ဥပမာ- Parameter ၃ ခုပါ Quadratic သို့မဟုတ် Parameter ၅ ခုပါ Quartic) အနာဂတ်ကို ပိုမိုတိကျစွာ ခန့်မှန်းနိုင်မည် မဟုတ်ဘဲ၊ ပြဿနာ၏ ပင်ကိုယ်သဘာဝ (Inductive Bias / Domain Dynamics) နှင့် ကိုက်ညီသော Parameter ၂ ခုတည်းပါ Logarithmic ဖန်ရှင်ကသာ အနည်းဆုံး Generalization Error နှင့် အမြင့်ဆုံး ယုံကြည်စိတ်ချရမှုကို ပေးစွမ်းနိုင်ကြောင်း ဤဂရပ်ဖ်က ရှင်းလင်းစွာ သက်သေပြနေပါသည်။