HistGradientBoostingClassifier နှင့် cross_val_predict တို့ကို GroupKFold(by date) နှင့် ပေါင်းစပ်အသုံးပြုခြင်းသည် မော်ဒယ်တစ်ခု၏ စစ်မှန်သော စွမ်းဆောင်ရည်နှင့် အမှားဖြစ်ပွားရာ နေရာများကို အတိအကျ ခွဲခြမ်းစိတ်ဖြာနိုင်သည့် အဆင့်မြင့် Diagnostic နည်းစနစ် ဖြစ်ပါသည်။၁။ နောက်ခံသဘောတရားများ (HistGradientBoosting & Out-of-Fold cross_val_predict)
HistGradientBoostingClassifier၏ အားသာချက်များ- Random Forest ကဲ့သို့ ဆုံးဖြတ်ချက်သစ်ပင်များကို သီးခြားစီ အပြိုင်ဆောက်ခြင်း (Bagging) မဟုတ်ဘဲ၊ ရှေ့သစ်ပင်၏ အမှားများကို နောက်သစ်ပင်က အဆင့်ဆင့် ပြန်လည်ပြင်ဆင်သင်ယူသည့် Gradient Boosting စနစ် ဖြစ်ပါသည်။ ထို့ကြောင့်
alt_mean_4h၊spd_mean_4hနှင့်hourတို့ကြားရှိ ရှုပ်ထွေးသော အပြန်အလှန် ဆက်နွှယ်မှုများ (Feature Interactions) ကို ပိုမိုတိကျစွာ ဖမ်းယူနိုင်ပါသည်။ - Native Missing Value Handling:
NaNတန်ဖိုးများကို မော်ဒယ်အတွင်း၌ပင် အလိုအလျောက် အကောင်းဆုံး အကိုင်းအခက်ဘက်သို့ ခွဲဝေတွက်ချက်ပေးနိုင်သဖြင့် ပြင်ပ Imputer ထပ်ခံရန် မလိုအပ်ပါ။ - Cold-Start Indicator (
obs_count_1h,obs_count_4h): ယခင်ဆွေးနွေးခဲ့သည့်အတိုင်း ညသန်းခေါင် အစပိုင်းနာရီများ (00:00–03:59) တွင် ၄ နာရီစာ ဒေတာအပြည့် မရှိသေးကြောင်း မော်ဒယ်သိရှိစေရန် Window အတွင်း ပါဝင်သည့် မှတ်တမ်းအရေအတွက် (obs_count) ကိုပါ ထည့်သွင်းတည်ဆောက်ထားပါသည်။
- Out-of-Fold (
cross_val_predict) နှင့်GroupKFoldပေါင်းစပ်မှုcross_val_scoreသည် Fold ၅ ခု၏ ပျမ်းမျှရမှတ်တစ်ခုတည်းကိုသာ ထုတ်ပေးသော်လည်း၊cross_val_predict(..., cv=gkf, groups=groups_date)သည် မှတ်တမ်းပေါင်း ၆၁,၉၂၀ ခုလုံး အတွက် ၎င်းတို့ပါဝင်သော နေ့ရက်ကို လုံးဝမမြင်ဖူးသည့် မော်ဒယ်များမှ ထုတ်ပေးသော Out-of-Fold (OOF) ခန့်မှန်းချက်များ ကို စုစည်းပေးပါသည်။ ထို့ကြောင့် ဒေတာတစ်ခုလုံးအပေါ် Data Leakage လုံးဝကင်းစင်သော Confusion Matrix အပြည့်အစုံကို တည်ဆောက်စစ်ဆေးနိုင်ပါသည်။
- Raw Counts vs. Row-Normalized (%) Confusion Matrix
- ငှက် ၃ ကောင်၏ မှတ်တမ်းအရေအတွက် အနည်းငယ် ကွာခြားနေသဖြင့် (
Eric: 19,795၊Nico: 21,121၊Sanne: 21,004) အရေအတွက်အတိအကျ (Raw Counts) အပြင် အတန်းလိုက် ရာခိုင်နှုန်း (normalize='true') ကိုပါ ယှဉ်တွဲကြည့်ရှုမှသာ မည်သည့်ငှက်က မည်သည့်ငှက်အဖြစ် မှားယွင်းခံရနှုန်း အမြင့်ဆုံးလဲ ဆိုသည်ကို တိကျစွာ သိရှိနိုင်ပါသည်။
၂။ Python Code Implementation
Python
import pandas as pd
import numpy as np
import matplotlib.pyplot as plt
from sklearn.ensemble import HistGradientBoostingClassifier
from sklearn.model_selection import GroupKFold, cross_val_predict
from sklearn.metrics import accuracy_score, classification_report, confusion_matrix, ConfusionMatrixDisplay
# ၁။ ဒေတာဖတ်ရှုခြင်းနှင့် အချိန်အစဉ်လိုက် စီစဉ်ခြင်း
birddata = pd.read_csv("bird_tracking.csv")
birddata['date_time'] = pd.to_datetime(birddata['date_time'], format='mixed')
birddata = birddata.sort_values(['bird_name', 'date_time']).reset_index(drop=True)
# ၂။ အခြေခံ Instantaneous Features များ ဖန်တီးခြင်း
birddata['date'] = birddata['date_time'].dt.date
birddata['hour'] = birddata['date_time'].dt.hour
dir_rad = np.radians(birddata['direction'])
birddata['dir_sin'] = np.sin(dir_rad)
birddata['dir_cos'] = np.cos(dir_rad)
birddata['alt_diff'] = birddata.groupby(['bird_name', 'date'])['altitude'].diff().fillna(0)
birddata['abs_alt_diff'] = birddata['alt_diff'].abs()
# ၃။ Time-Based Rolling Window Features (1h & 4h) + Observation Counts
# ['bird_name', 'date'] အလိုက် အုပ်စုခွဲတွက်ချက်ခြင်းဖြင့် နေ့ရက်ဖြတ်ကျော် Leakage လုံးဝကင်းစင်စေပါသည်
r1 = birddata.groupby(['bird_name', 'date']).rolling('1h', on='date_time', min_periods=1)
birddata['obs_count_1h'] = r1['altitude'].count().to_numpy()
birddata['spd_mean_1h'] = r1['speed_2d'].mean().to_numpy()
birddata['spd_std_1h'] = r1['speed_2d'].std().fillna(0).to_numpy()
birddata['spd_max_1h'] = r1['speed_2d'].max().to_numpy()
birddata['alt_mean_1h'] = r1['altitude'].mean().to_numpy()
birddata['alt_std_1h'] = r1['altitude'].std().fillna(0).to_numpy()
birddata['alt_max_1h'] = r1['altitude'].max().to_numpy()
birddata['alt_min_1h'] = r1['altitude'].min().to_numpy()
sin_m1 = r1['dir_sin'].mean().fillna(0).to_numpy()
cos_m1 = r1['dir_cos'].mean().fillna(0).to_numpy()
birddata['dir_persist_1h'] = np.sqrt(sin_m1**2 + cos_m1**2)
r4 = birddata.groupby(['bird_name', 'date']).rolling('4h', on='date_time', min_periods=1)
birddata['obs_count_4h'] = r4['altitude'].count().to_numpy()
birddata['spd_mean_4h'] = r4['speed_2d'].mean().to_numpy()
birddata['spd_std_4h'] = r4['speed_2d'].std().fillna(0).to_numpy()
birddata['spd_max_4h'] = r4['speed_2d'].max().to_numpy()
birddata['alt_mean_4h'] = r4['altitude'].mean().to_numpy()
birddata['alt_std_4h'] = r4['altitude'].std().fillna(0).to_numpy()
birddata['alt_range_4h'] = (r4['altitude'].max() - r4['altitude'].min()).to_numpy()
birddata['climb_act_4h'] = r4['abs_alt_diff'].mean().to_numpy()
sin_m4 = r4['dir_sin'].mean().fillna(0).to_numpy()
cos_m4 = r4['dir_cos'].mean().fillna(0).to_numpy()
birddata['dir_persist_4h'] = np.sqrt(sin_m4**2 + cos_m4**2)
# ၄။ မော်ဒယ်အတွက် Features ၂၃ ခု ရွေးချယ်ခြင်း (Latitude/Longitude လုံးဝ မပါဝင်ပါ)
feature_cols = [
'speed_2d', 'altitude', 'dir_sin', 'dir_cos', 'hour',
'obs_count_1h', 'spd_mean_1h', 'spd_std_1h', 'spd_max_1h',
'alt_mean_1h', 'alt_std_1h', 'alt_max_1h', 'alt_min_1h', 'dir_persist_1h',
'obs_count_4h', 'spd_mean_4h', 'spd_std_4h', 'spd_max_4h',
'alt_mean_4h', 'alt_std_4h', 'alt_range_4h', 'climb_act_4h', 'dir_persist_4h'
]
X = birddata[feature_cols]
y = birddata['bird_name']
groups_date = birddata['date']
# ၅။ HistGradientBoostingClassifier နှင့် GroupKFold Out-of-Fold Prediction
gkf = GroupKFold(n_splits=5)
hgb_model = HistGradientBoostingClassifier(
max_iter=200,
learning_rate=0.08,
max_leaf_nodes=31,
random_state=42
)
# မှတ်တမ်း ၆၁,၉၂၀ ခုလုံးအတွက် Leakage ကင်းစင်သော Out-of-Fold ခန့်မှန်းချက်များ ထုတ်ယူခြင်း
oof_preds = cross_val_predict(hgb_model, X, y, cv=gkf, groups=groups_date, n_jobs=1)
overall_acc = accuracy_score(y, oof_preds)
print(f"=== HistGradientBoosting + GroupKFold Out-of-Fold ရလဒ်များ ===")
print(f"စုစုပေါင်း Out-of-Fold Accuracy : {overall_acc * 100:.2f}%\n")
print("=== အသေးစိတ် Classification Report ===")
print(classification_report(y, oof_preds, digits=4))
# ၆။ Pairwise Error Analysis (မည်သည့်ငှက်နှစ်ကောင်ကြား အမှားအများဆုံးလဲ တွက်ထုတ်ခြင်း)
labels = ['Eric', 'Nico', 'Sanne']
cm_raw = confusion_matrix(y, oof_preds, labels=labels)
cm_norm = confusion_matrix(y, oof_preds, labels=labels, normalize='true') * 100
total_errors = np.sum(cm_raw) - np.trace(cm_raw)
pairs = [
("Nico <-> Sanne", cm_raw[1, 2] + cm_raw[2, 1]),
("Eric <-> Sanne", cm_raw[0, 2] + cm_raw[2, 0]),
("Eric <-> Nico", cm_raw[0, 1] + cm_raw[1, 0])
]
pairs.sort(key=lambda x: x[1], reverse=True)
print("=== ငှက်နှစ်ကောင်ချင်းစီကြား မှားယွင်းမှု နှိုင်းယှဉ်ချက် (Bidirectional Confusion) ===")
for pair_name, err_cnt in pairs:
print(f" - {pair_name:14s} : {err_cnt:5d} ကြိမ် (အမှားစုစုပေါင်း၏ {err_cnt / total_errors * 100:.2f}%)")
# ၇။ Confusion Matrix (၂) မျိုးကို ယှဉ်တွဲပုံဖော်ခြင်း (Raw Counts & Row-Normalized %)
fig, (ax1, ax2) = plt.subplots(1, 2, figsize=(15, 6))
# ဘယ်ဘက်ဂရပ် - မှတ်တမ်းအရေအတွက် အတိအကျ (Raw Counts)
disp_raw = ConfusionMatrixDisplay(confusion_matrix=cm_raw, display_labels=labels)
disp_raw.plot(ax=ax1, cmap='Blues', values_format='d', colorbar=False)
ax1.set_title("Out-of-Fold Confusion Matrix (Raw Record Counts)", fontsize=12, fontweight='bold')
# ညာဘက်ဂရပ် - အတန်းလိုက် ရာခိုင်နှုန်း (Row-Normalized % / Recall Breakdown)
disp_norm = ConfusionMatrixDisplay(confusion_matrix=cm_norm, display_labels=labels)
disp_norm.plot(ax=ax2, cmap='Oranges', values_format='.2f', colorbar=False)
ax2.set_title("Row-Normalized Confusion Matrix (% by True Bird)", fontsize=12, fontweight='bold')
plt.tight_layout()
plt.show()
ပရိုဂရမ်ကို Run ရာမှ ထွက်ပေါ်လာသော ရလဒ်ကိန်းဂဏန်းများနှင့် Confusion Matrix ဂရပ်ပုံသည် မော်ဒယ်၏ စွမ်းဆောင်ရည် တိုးတက်လာမှုနှင့် ငှက်တစ်ကောင်ချင်းစီကြား မှားယွင်းမှုပုံစံများကို ရှင်းလင်းပြတ်သားစွာ ပြသနေပါသည် ။
စမ်းသပ်မှု အဆင့်ဆင့် တိုးတက်လာမှုနှင့် ဂရပ် (၂) ခု စစ်ဆေးချက်
- စုစုပေါင်း တိကျမှု (
60.53%) မှတ်တမ်းပေါင်း ၆၁,၉၂၀ ခု အနက် ထောင့်ဖြတ်မျဉ်း (Diagonal) ပေါ်ရှိ မှတ်တမ်း ၃၇,၄၈၀ ခု (Eric:12,182+Nico:12,269+Sanne:13,029) ကို တည်နေရာ (Latitude,Longitude) လုံးဝမပါဘဲ မှန်ကန်စွာ ခန့်မှန်းနိုင်ခဲ့ပြီး မှားယွင်းမှု ၂၄,၄၄၀ ခု ရှိပါသည်။ - မော်ဒယ် အဆင့်ဆင့် တိုးတက်မှု နှိုင်းယှဉ်ချက်
- မူလ Baseline (
5 Instantaneous Features):47.91% - Random Forest + Rolling Window (
21 Features):58.89%(+10.98%တိုးတက်) - HistGradientBoosting + Rolling Window + Observation Counts (
23 Features):60.53%(မူလ Baseline ထက် စုစုပေါင်း+12.62%တိုးတက်လာသည်)
- ဂရပ် အရောင်အနုအရင့် ဖတ်ရှုချက် (
image_2b1321.png)- ဘယ်ဘက်ဂရပ် (အပြာရောင်) နှင့် ညာဘက်ဂရပ် (လိမ္မော်ညိုရောင်) နှစ်ခုလုံးတွင် ထောင့်ဖြတ်အကွက် (၃) ကွက်သည် အရင့်ဆုံး ဖြစ်နေပြီး အခြားအကွက်များထက် ၃ ဆခန့် ပိုမိုသိပ်သည်းနေခြင်းက မော်ဒယ်သည် ငှက် ၃ ကောင်လုံးကို မျှတစွာ ခွဲခြားသင်ယူနိုင်ကြောင်း ပြသနေပါသည်
။ - ထောင့်ဖြတ်မျဉ်း အပြင်ဘက်တွင် ညာဘက်အစွန်ကော်လံ (
Predicted label: Sanne) ၏ အပေါ်အကွက်နှစ်ခု (22.33%နှင့်26.42%) နှင့် အောက်ဆုံးအတန်း အလယ်အကွက် (22.84%) တို့သည် အရောင်အရင့်ဆုံး ဖြစ်နေပြီး အမှားအများဆုံး ဖြစ်ပွားရာ နေရာများ ဖြစ်ပါသည်။
ငှက်တစ်ကောင်ချင်းစီ၏ ခန့်မှန်းခံရမှုနှင့် မှားယွင်းမှု အသေးစိတ် ခွဲခြမ်းစိတ်ဖြာချက်
| ငှက်အမည် (True Bird) | အမှန်တကယ် မှတ်တမ်း (Support) | မော်ဒယ်က ခန့်မှန်းသည့် စုစုပေါင်း (Predicted Total) | မှန်ကန်မှု (Recall %) | ခန့်မှန်းတိကျမှု (Precision %) | F1-Score | အဓိက မှားယွင်းခံရသည့် ငှက် |
| Eric | 19,795 | 18,630 | 61.54% ( 12,182) | 65.39% | 0.6341 | Sanne ( 22.33% / 4,420 ခု) |
| Nico | 21,121 | 20,260 | 58.09% ( 12,269) | 60.56% | 0.5930 | Sanne ( 26.42% / 5,581 ခု) |
| Sanne | 21,004 | 23,030 | 62.03% ( 13,029) | 56.57% | 0.5918 | Nico ( 22.84% / 4,798 ခု) |
ကိန်းဂဏန်းများမှ တွေ့ရှိရသော အရေးကြီးသည့် အချက် (၃) ချက်
Sanneကို ပိုမိုခန့်မှန်းမိသည့် သဘောသဘာဝ (Over-Prediction / Default Catch-All Effect)- ဖိုင်ထဲတွင်
Nico၏ မှတ်တမ်း (21,121) က အများဆုံး ဖြစ်သော်လည်း မော်ဒယ်သည်Sanneဟု ခန့်မှန်းသည့် အကြိမ်ရေ23,030ကြိမ် အထိ အများဆုံး ဖြစ်နေပါသည်။ ထို့ကြောင့်Sanneသည် Recall အမြင့်ဆုံး (62.03%) ဖြစ်သော်လည်း Precision အနိမ့်ဆုံး (56.57%) ဖြစ်နေပါသည်။ - အကြောင်းရင်း
Sanneသည် ပျမ်းမျှအမြင့်29.16 m(Median8.00 m) ဖြင့် အနိမ့်ပိုင်း၌ အနေများသော ငှက်ဖြစ်ရာ၊Eric(22.33%) နှင့်Nico(26.42%) တို့ အနားယူနေချိန် သို့မဟုတ် ရေပြင်နှင့်အနီးကပ် ငြိမ်သက်စွာ အစာရှာနေချိန်များတွင် ၎င်းတို့၏ ပျံသန်းမှုပုံစံသည်Sanne၏ ပုံမှန်အခြေအနေနှင့် ထပ်တူကျသွားပြီး မော်ဒယ်ကSanneဟု ခန့်မှန်းလိုက်ခြင်း ဖြစ်ပါသည်။
Nicoနှင့်Sanneကြား အမှားအများဆုံး ဖြစ်ပွားမှု (42.47%)- စုစုပေါင်း မှားယွင်းမှု
24,440ကြိမ်အနက်10,379ကြိမ် မှာNicoနှင့်Sanneနှစ်ကောင်ကြား အပြန်အလှန် မှားယွင်းမှု ဖြစ်ပါသည်။ ၎င်းတို့နှစ်ကောင်စလုံးသည် ဆီနီဂေါနှင့် မော်ရီတေးနီးယား ကမ်းရိုးတန်းအထိ အတူတကွ ဆောင်းခိုကြသဖြင့် ရာသီဥတုနှင့် လေစီးကြောင်း အသုံးပြုပုံချင်း အလွန်ဆင်တူနေခြင်းကြောင့် ဖြစ်ပါသည်။
Eric၏ ထူးခြားပြတ်သားမှု (Precision 65.39%)Ericနှင့်Nicoကြား မှားယွင်းမှုမှာ6,464ကြိမ် (26.45%) သာ ရှိပြီးEric -> Nicoမှားယွင်းမှု (16.13%) နှင့်Nico -> Ericမှားယွင်းမှု (15.49%) တို့မှာ အနည်းဆုံး ဖြစ်နေပါသည်။ မော်ဒယ်က Ericဟု ခန့်မှန်းလိုက်လျှင် ၃ ကောင်ထဲ၌ မှန်ကန်နိုင်ခြေ အမြင့်ဆုံး (65.39%) ဖြစ်ပါသည်။
နောက်ထပ် လေ့လာဆန်းစစ်နိုင်မည့် အဆင့်
ဤ Confusion Matrix မှ တွေ့ရှိချက်အရ
ထို့ကြောင့်၊ နောက်တဆင့်တွင်-
၎င်းအမှားများသည် နွေရာသီ ဥရောပ (မြောက်ပင်လယ်) တွင် ရှိနေချိန်၌ ပိုဖြစ်သလား သို့မဟုတ် ဆောင်းရာသီ အာဖရိကအနောက်ပိုင်း သို့ ရောက်နေချိန်၌ ပိုဖြစ်သလား ဆိုသည်ကို လအလိုက် (Monthly Error Rate) ခွဲခြမ်းစိတ်ဖြာကြည့်ပါမည်။
Nico နှင့် Sanne ကြား မှားယွင်းမှု (10,379 ကြိမ်) သည် စုစုပေါင်းအမှား၏ ထက်ဝက်နီးပါး ရှိနေပါသည်။ ထို့ကြောင့်၊ နောက်တဆင့်တွင်-
၎င်းအမှားများသည် နွေရာသီ ဥရောပ (မြောက်ပင်လယ်) တွင် ရှိနေချိန်၌ ပိုဖြစ်သလား သို့မဟုတ် ဆောင်းရာသီ အာဖရိကအနောက်ပိုင်း သို့ ရောက်နေချိန်၌ ပိုဖြစ်သလား ဆိုသည်ကို လအလိုက် (Monthly Error Rate) ခွဲခြမ်းစိတ်ဖြာကြည့်ပါမည်။

No comments:
Post a Comment
Note: Only a member of this blog may post a comment.