bird_tracking.csv ဖိုင်တွင် စုစုပေါင်း မှတ်တမ်းပေါင်း ၆၁,၉၂၀ ခု (Rows) နှင့် ကော်လံ ၈ ခု (Columns) ပါဝင်ပြီး ၂၀၁၃ ခုနှစ် ဩဂုတ်လ ၁၅ ရက်မှ ၂၀၁၄ ခုနှစ် ဧပြီလ ၃၀ ရက်အထိ (ရက်ပေါင်း ၂၅၉ ရက်ခန့်) စင်ရော်ငှက် (Lesser Black-backed Gulls) ၃ ကောင်၏ GPS ရွှေ့ပြောင်းပျံသန်းမှု မှတ်တမ်းများ ဖြစ်ပါသည်။၁။ bird_tracking.csv ဖိုင်၏ ကိန်းဂဏန်းအချက်အလက် စစ်ဆေးတွေ့ရှိချက်
ဖိုင်တစ်ခုလုံးရှိ အဓိက ကိန်းဂဏန်းအနှစ်ချုပ် (Count, Mean, Median, Std, Min, Max) နှင့် ငှက်တစ်ကောင်ချင်းစီ၏ နှိုင်းယှဉ်ချက်မှာ အောက်ပါအတိုင်း ဖြစ်ပါသည်-
| ငှက်အမည် (bird_name) | စက်နံပါတ် (Serial) | မှတ်တမ်းအရေအတွက် (Count) | ပျောက်ဆုံးတန်ဖိုး (NaN in Speed/Dir) | အမြန်နှုန်း ပျမ်းမျှ / အလယ်ကိန်း (Mean / Median m/s) | အမြန်နှုန်း စံသွေဖည်ကိန်း / အများဆုံး (Std / Max m/s) | အမြင့် ပျမ်းမျှ / အလယ်ကိန်း (Mean / Median m) | အမြင့် အနိမ့်ဆုံး / အမြင့်ဆုံး (Min / Max m) | လတ္တီကျု အပိုင်းအခြား (Latitude Range) |
| Nico | 864 | 21,121 | 113 | 2.91 / 1.54 | 3.74 / 48.38 | 67.90 / 16.00 | -965 / 6,965 | 12.35°N – 51.52°N |
| Sanne | 833 | 21,004 | 245 | 2.45 / 1.15 | 3.39 / 57.20 | 29.16 / 8.00 | -1,010 / 6,145 | 13.88°N – 51.37°N |
| Eric | 851 | 19,795 | 85 | 2.30 / 1.00 | 3.57 / 63.49 | 60.25 / 26.00 | -830 / 4,808 | 30.17°N – 51.36°N |
| စုစုပေါင်း / ပျမ်းမျှ | 3 လုံး | 61,920 | 443 | 2.56 / 1.21 | 3.58 / 63.49 | 52.31 / 14.00 | -1,010 / 6,965 | 12.35°N – 51.52°N |
ဒေတာဖွဲ့စည်းပုံမှ ထူးခြားသော လက္ခဏာရပ်များ (Key Data Patterns & Outliers)
- ညာဘက်သို့ စောင်းနေသော ဖြန့်ကျက်မှု (Right-Skewed Distribution) ငှက် ၃ ကောင်စလုံးတွင် ပျမ်းမျှအမြန်နှုန်း (
2.30–2.91 m/s) သည် အလယ်ကိန်း (1.00–1.54 m/s) ထက် နှစ်ဆခန့် မြင့်မားနေပြီး၊ ပျမ်းမျှအမြင့် (29.16–67.90 m) သည် အလယ်ကိန်း (8.00–26.00 m) ထက် များစွာမြင့်မားနေပါသည်။ ၎င်းသည် ငှက်များ၏ ဘဝသက်တမ်း အများစုမှာ အနိမ့်ပိုင်း၌ နားနေခြင်းနှင့် အနီးဝန်းကျင်တွင် အစာရှာခြင်းသာ ဖြစ်ပြီး၊ ရာသီအကူးအပြောင်း ရက်အနည်းငယ်အတွင်း၌သာ အမြင့်ပေထောင်ချီ၍ အရှိန်ပြင်းပြင်း ခရီးဝေးပျံသန်းကြောင်း သက်သေပြနေပါသည်။ - Missing Values ဖွဲ့စည်းပုံ
altitude,latitude,longitude,date_timeတို့တွင် ကွက်လပ် လုံးဝ (0) မရှိသော်လည်းspeed_2dနှင့်directionကော်လံနှစ်ခုလုံးတွင် တစ်ပြိုင်နက်တည်းNaNဖြစ်နေသော အတန်းပေါင်း ၄၄၃ ခု (Eric တွင်85ခု၊ Nico တွင်113ခု၊ Sanne တွင်245ခု) ပါဝင်နေပါသည်။ - GPS စက်အမှားနှင့် အစွန်းရောက်တန်ဖိုးများ ပင်လယ်ရေမျက်နှာပြင်အောက်
-1,010 m(Sanne) အထိ ပြသနေသော ဒေါင်လိုက် GPS ဂြိုဟ်တုတိုင်းတာမှု အမှားများ ပါဝင်သကဲ့သို့၊ အမြင့်ပေ6,965 m(Nico) နှင့် အမြန်နှုန်း63.49 m/s(Eric) အထိ ရောက်ရှိသော အစွန်းရောက် ပျံသန်းမှုမှတ်တမ်းများလည်း ရှိနေပါသည်။ - ပထဝီဝင် ရွှေ့ပြောင်းမှု ကွာခြားချက် ငှက် ၃ ကောင်စလုံးသည် နွေရာသီတွင် ဥရောပမြောက်ပိုင်း (
Lat ~51.3°N- ဘယ်လ်ဂျီယံ/နယ်သာလန် ကမ်းရိုးတန်း) ၌ အတူတကွ ကျက်စားကြသော်လည်း ဆောင်းခိုရာတွင်မူ Eric သည် မော်ရိုကို ကမ်းရိုးတန်း (Lat 30.17°N) တွင်သာ ရပ်နားပြီး Nico နှင့် Sanne တို့သည် အာဖရိကအနောက်ပိုင်း ဆီနီဂေါ/မော်ရီတေးနီးယား ကမ်းရိုးတန်း (Lat 12.35°N–13.88°N) အထိ ဆက်လက်ပျံသန်းကြပါသည်။
၂။ ဆွေးနွေးခဲ့သမျှ AI / Machine Learning သီအိုရီနှင့် သဘောတရားများ ခြုံငုံသုံးသပ်ချက်
'bird_tracking' data ကို အသုံးပြု၍ လက်တွေ့လုပ်ငန်းခွင်သုံး End-to-End Machine Learning Pipeline တစ်ခုလုံး၏ အဓိက သီအိုရီ ၅ ရပ်ကို စနစ်တကျ လက်တွေ့တည်ဆောက် လေ့လာခဲ့ကြပါသည်။
(၁) Data Preprocessing, Imputation & Feature Engineering
မော်ဒယ်တစ်ခု၏ စွမ်းဆောင်ရည်သည် ထည့်သွင်းပေးလိုက်သော Feature များ၏ အရည်အသွေးပေါ်တွင် အဓိက မူတည်ပါသည်။
- ML-Based Imputation (
KNNImputervs.SimpleImputer) ပျောက်ဆုံးနေသောspeed_2dတန်ဖိုးများကို တစ်ဖိုင်လုံး၏ ပျမ်းမျှကိန်းသေ (SimpleImputer) ဖြင့် ဖြည့်သွင်းပါက အမြင့်ပေ ပြောင်းလဲမှုကို လျစ်လျူရှုမိသဖြင့် အမှား (MAE = 2.22 m/s) များပြားပြီး၊ အနီးစပ်ဆုံး ပတ်ဝန်းကျင်အခြေအနေများကို ကြည့်၍ တွက်ချက်သောKNNImputerသည် အမှားကိုMAE = 1.90 m/sအထိ လျှော့ချပေးနိုင်ကြောင်း တွေ့ရှိခဲ့ရပါသည်။ - Cyclical Feature Engineering ဦးတည်ရာ ဒီဂရီ (
direction:-180°မှ+180°) နှင့် အချိန် (hour:0–23) ကဲ့သို့ စက်ဝိုင်းပုံ လည်ပတ်နေသော ကိန်းဂဏန်းများကို $-179^\circ$ နှင့် $+179^\circ$ ကြား အကွာအဝေး မှားယွင်းမတွက်မိစေရန် $\sin(\theta)$ နှင့် $\cos(\theta)$ ဖန်ရှင်များဖြင့် နှစ်ဖက်မြင် စက်ဝိုင်းကိုဩဒိနိတ် (Trigonometric Encoding) သို့ ပြောင်းလဲအသုံးပြုခဲ့ပါသည်။ - Feature Scaling (
StandardScaler) အကွာအဝေးနှင့် ပြန့်ကျဲမှုကို အခြေခံသော Algorithm များ (k-NN,K-Means,GMM,PCA,KNNImputer) တွင် ယူနစ်ကြီးမားသောaltitudeက ယူနစ်ငယ်သောspeed_2dအပေါ် မလွှမ်းမိုးစေရန် စံနှုန်းတစ်ခုတည်းသို့ ညှိယူရပြီး၊ ဆုံးဖြတ်ချက်သစ်ပင် အခြေခံ မော်ဒယ်များ (RandomForest,IsolationForest) တွင်မူ Scaling ပြုလုပ်ရန် မလိုအပ်ကြောင်း လေ့လာခဲ့ပါသည်။
(၂) Unsupervised Learning & Dimensionality Reduction
ကြိုတင်သတ်မှတ်ထားသော အဖြေ (Labels) မပါဘဲ ဒေတာ၏ ဖွဲ့စည်းပုံမှ သဘာဝအုပ်စုများကို ရှာဖွေခြင်း ဖြစ်ပါသည်-
- Centroid-Based (
K-Means) vs. Density-Based (DBSCAN) Spatial ClusteringK-Meansသည် အုပ်စုအရေအတွက် ($k$) ကြိုပေးရပြီး စက်ဝိုင်းပုံအုပ်စုများကိုသာ ခွဲနိုင်သော်လည်း၊ ကမ္ဘာလုံးမျက်နှာပြင် အကွာအဝေးတွက်နည်း (Haversine Metric) သုံးထားသောDBSCANသည် ကမ်းရိုးတန်းတစ်လျှောက် ငှက်များ အမှန်တကယ် စခန်းချကျက်စားရာ ဇုန် ၇ ခု (Zone 0မှZone 6) ကို အလိုအလျောက် ရှာဖွေပေးနိုင်ပြီး ခရီးဝေး ဖြတ်သန်းပျံသန်းမှုများကိုNoise (-1)အဖြစ် တိကျစွာ ခွဲထုတ်ပေးနိုင်ခဲ့ပါသည်။ - Dimensionality Reduction (
PCA) & Probabilistic Clustering (GMM)PCAသည် ဆက်နွှယ်နေသော Feature ၅ ခုကို အချက်အလက် ဆုံးရှုံးမှုအနည်းဆုံးဖြင့် ထောင့်မှန်ကျ ဝင်ရိုး ၂ ခု (PC1,PC2) သို့ ချုံ့ပေးပြီး၊Gaussian Mixture Model (GMM)သည် Expectation-Maximization (EM) စနစ်ဖြင့် အပြုအမူတစ်ခုမှ တစ်ခုသို့ ကူးပြောင်းနေဆဲ အခိုက်အတန့်များ (Transitional States) ကို ဖြစ်နိုင်ခြေ ရာခိုင်နှုန်း (predict_proba) များဖြင့် ဖမ်းယူပြသနိုင်ခဲ့ပါသည်။
(၃) Anomaly & Outlier Detection (Isolation Forest)
ပုံမှန်ဒေတာပုံစံကို အရင်တည်ဆောက်မည့်အစား ထူးခြားသော အမှတ်များသည် သီးခြားခွဲထုတ်ရန် လွယ်ကူပြီး ဆုံးဖြတ်ချက်သစ်ပင်၏ အမြစ်နှင့် နီးကပ်စွာ ပြတ်တောက်သွားသည် (Shorter Path Length) ဟူသော သဘောတရားဖြင့်
Isolation Forest ကို အသုံးပြုခဲ့ပါသည်။ ရူပဗေဒဆိုင်ရာ Feature များ (vertical_speed, speed_discrepancy) နှင့် ပေါင်းစပ်လိုက်သောအခါ ပင်လယ်ရေအောက် အနုတ်ပြနေသော GPS အမှားများနှင့် ပြင်းထန်သော လေစီးကြောင်းစီး ပျံသန်းမှုများကို အလိုအလျောက် ခွဲခြားဖော်ထုတ်နိုင်ခဲ့ပါသည်။(၄) Supervised Learning: Classification & Multi-Output Trajectory Forecasting
- Instance-Based (
k-NN) vs. Ensemble Learning (Random Forest) အနီးစပ်ဆုံး ဒေတာ $k$ ခု၏ အများစုမဲဖြင့် ဆုံးဖြတ်သောk-NNနှင့် ဆုံးဖြတ်ချက်သစ်ပင် ရာပေါင်းများစွာကို ပေါင်းစပ်၍ Variance လျှော့ချပေးသောRandom Forestတို့ကို နှိုင်းယှဉ်တည်ဆောက်ပြီး Confusion Matrix၊ Precision/Recall/F1-Score နှင့် Feature Importance တို့ဖြင့် အကဲဖြတ်ခဲ့ပါသည်။ - Time-Series Lag Features & Displacement Forecasting အတိတ်ကာလ အရှိန်အဟုန် (
.shift()Lag Features) နှင့် အချိန်ကွာခြားချက် (dt_next) တို့ကို အသုံးပြု၍ Multi-Output Regression ဖြင့် နောက်တစ်ဆင့် တည်နေရာကို ခန့်မှန်းခဲ့ပါသည်။ ထိုသို့ခန့်မှန်းရာတွင် မူရင်းကိုဩဒိနိတ် ($\text{Lat}_{t+1}$) အစား နေရာပြောင်းလဲမှု ပမာဏ ($\Delta\text{Lat}, \Delta\text{Lon}$) ကိုသာ သင်ကြားပေးခြင်းဖြင့် Decision Tree မော်ဒယ်များ မြေပုံနယ်နိမိတ်အသစ်များသို့ ကျော်လွန်ခန့်မှန်းနိုင်စွမ်း မရှိခြင်း (Extrapolation Limitation) ကို အောင်မြင်စွာ ကျော်လွှားနိုင်ခဲ့ပါသည်။
(၅) Data Leakage Prevention & Honest Validation (Pipeline & GroupKFold)
လက်တွေ့ AI အင်ဂျင်နီယာပညာရပ်၏ အရေးအကြီးဆုံး သင်ခန်းစာအဖြစ် Data Leakage (ဒေတာပေါက်ကြားမှု) ကာကွယ်ခြင်းကို လက်တွေ့စမ်းသပ်ခဲ့ပါသည်-
StandardScalerနှင့်KNNImputerတို့ကိုPipelineအတွင်း ထည့်သွင်းခြင်းဖြင့်Trainနှင့်Testကြား စာရင်းအင်းအချက်အလက် မပေါက်ကြားစေရန် ထိန်းသိမ်းနိုင်ခဲ့ပါသည်။- တည်နေရာ (
latitude,longitude) ကို ဖယ်ထုတ်၍ ပျံသန်းမှုအမူအကျင့် သက်သက်ဖြင့် မျိုးစိတ်တူ စင်ရော်ငှက် ၃ ကောင်ကို ခွဲခြားစေခြင်းနှင့် ရက်စွဲအလိုက် အုပ်စုခွဲစစ်ဆေးသောGroupKFold(by date)ကို အသုံးပြုခြင်းတို့ဖြင့် မိနစ်ပိုင်းခြား မှတ်တမ်းများကြောင့် ဖြစ်ပေါ်တတ်သည့် အတုအယောင် တိကျမှု (Optimism Bias) ကို ဖယ်ရှားကာ မော်ဒယ်၏ စစ်မှန်သော စွမ်းဆောင်ရည် (~47.5%) ကို တိုင်းတာနိုင်ခဲ့ပါသည်။
No comments:
Post a Comment
Note: Only a member of this blog may post a comment.