DGrid AI ၏ နောက်ဆုံးသုတေသနသည် ဗဟိုချုပ်ကိုင်မှုလျှော့ချထားသော AI အမှတ်ပေးမှုတွင် အဓိကချို့ယွင်းချက်ကို ဖြေရှင်းပေးသည်

DGrid AI သည် AI ရလဒ်များကို အကဲဖြတ်ရန်နှင့် ဗဟိုချုပ်ကိုင်မှုလျှော့ချထားသော ကွန်ရက်များတစ်လျှောက် ဆုပေးဝေမှုကို မြှင့်တင်ရန် ဒီဇိုင်းထုတ်ထားသည့် အရည်အသွေးဆိုင်ရာ အထောက်အထား မူဘောင်အသစ်ကို မိတ်ဆက်ပေးသည်။

ဗဟိုချုပ်ကိုင်မှုလျှော့ချထားသော AI ကွန်ရက်များတွင် သုတေသီများသည် နှစ်အတော်ကြာ တိတ်တဆိတ်လုပ်ဆောင်ခဲ့သော ငွေပေးချေမှုပြဿနာတစ်ခုရှိပြီး DGrid AI မှ မကြာသေးမီက စာတမ်းတစ်စောင်က အဆိုပါပြဿနာကို စားပွဲပေါ်တွင် တိုက်ရိုက်တင်ထားသည်။ အရည်အသွေးအမှတ်ပေးစနစ်များသည် powering node ဆုလာဘ်များကို နှိုင်းယှဉ်ရန် လက်ထဲတွင် အဖြေမှန်ရှိခြင်းအပေါ် များစွာမူတည်ပါသည်။ ထုတ်လုပ်မှုတွင်၊ ထိုအဖြေသည် မရှိသလောက်နည်းပါးသည်။

အရည်အသွေးသက်သေ (PoQ) ဆိုင်ရာ DGrid ၏ ဆက်လက်လုပ်ဆောင်နေသော သုတေသနစီးရီးတွင် စတုတ္ထမြောက် စာတမ်းသည် လေ့ကျင့်ထားသော အခြားရွေးချယ်စရာတစ်ခုကို အဆိုပြုပြီး ၎င်းနောက်တွင် နံပါတ်များကို ထုတ်ဝေသည်။ PoQ သည် အထွက်တစ်ခုစီတိုင်းကို အမှတ်ပေးရန်အတွက် အကဲဖြတ်ပုံစံငယ်များကို အသုံးပြုသည်။ အရည်အသွေးပြီးတော့ အဲဒီရမှတ်တွေက ဆုလာဘ်တွေ ပေးတယ်။ စျေးသက်သက်သာသာနဲ့ အကြေးခွံပါ။

DGrid သည် ဤအုတ်ကို အုတ်ဖြင့်တည်ဆောက်ခဲ့သည်- a cost-aware version ငွေပေးချေမှုသင်္ချာတွင် latency ကို ဖုတ်သွင်းသည်။ adversarial-robustness အလွှာ ဂိုးသွင်းသူများသည် လူလိမ် သို့မဟုတ် ပျင်းရိသောအခါတွင် ထိန်းထားနိုင်ပြီး “အရည်အသွေး” ကို သင်စစ်ဆေးနိုင်သော အစိတ်အပိုင်းများအဖြစ် ပိုင်းခြားထားသည့် မူဘောင်တစ်ခု။ ခိုင်မာသောအင်ဂျင်နီယာ။ အလွှာတိုင်းသည် တူညီသောနံရံသို့ တိုးဝင်သွားကြသည်။

အမှတ်ပေးရေးပြဿနာ ဘယ်လိုဖြစ်လာတာလဲ။

ဗဟိုချုပ်ကိုင်မှုလျှော့ချထားသော အနုမာနကွန်ရက်၏ အခြေခံဖွဲ့စည်းပုံသည် တိုင်းတာမှုစိန်ခေါ်မှုကို ဖန်တီးပေးသည်။ အမှီအခိုကင်းသော node များသည် ဘာသာစကားမော်ဒယ်များကို လုပ်ဆောင်ပြီး သုံးစွဲသူ၏မေးမြန်းချက်များကို တုံ့ပြန်သည်။ ရမှတ်များသည် လစာကို အဆုံးအဖြတ်ပေးသောကြောင့် အဆိုပါအဖြေများကို အမှတ်ရရန် လိုအပ်ပါသည်။ တွက်ချက်မှုတိုင်း၏ လျှို့ဝှက်ရေးသွင်းခြင်းဆိုင်ရာ စိစစ်ခြင်းသည် နည်းပညာအရ လေလုံသော်လည်း အတိုင်းအတာတစ်ခုအထိ စျေးကြီးမည်ဖြစ်သောကြောင့် လက်တွေ့ကျသောလမ်းကြောင်းသည် သေးငယ်သောမော်ဒယ်များကို အသုံးပြု၍ အရည်အသွေးကို အလိုအလျောက်အကဲဖြတ်ခြင်းဖြစ်သည်။

DGrid ၏ အစောပိုင်းလုပ်ဆောင်မှုသည် အဆိုပါချဉ်းကပ်မှုကို တိုးမြင့်စေပြီး၊ ကြာမြင့်ချိန်-ချိန်ညှိထားသော ပေးချေမှုများ၊ ခြယ်လှယ်သောဂိုးသွင်းသူများကို ခုခံကာကွယ်မှုများနှင့် အမှတ်ပေးအကြောင်းအရာတစ်ခုတွင် “အရည်အသွေး” အမှန်တကယ်ဆိုလိုသည်များကို ပိုမိုအသေးစိတ်ပိုင်းခြားထားသည်။ အပြည့်အဝမဖြေရှင်းနိုင်သောအရာမှာ အကဲဖြတ်ခြင်းအချက်သာဖြစ်သည်။

အဖွဲ့တွင်ရှိသည့် အပြင်းထန်ဆုံးအချက်မှာ အဓိပ္ပါယ်ဆင်တူခြင်းဖြစ်သည်- မော်ဒယ်၏အထွက်ကို သိထားသောအဖြေမှန်တစ်ခုနှင့် နှိုင်းယှဉ်ပြီး ၎င်းတို့ကြားရှိ အကွာအဝေးကို မြှပ်နှံထားသော နေရာလွတ်ကို တိုင်းတာသည်။ ၎င်းသည် ကိုးကားချက်အဖြေများတည်ရှိသည့် စံသတ်မှတ်ချက်ပတ်ဝန်းကျင်များတွင် အလုပ်လုပ်သည်။ အသုံးပြုသူများသည် အပွင့်ပါမေးခွန်းများမေးကြပြီး ဒေတာဘေ့စ်တစ်ခုတွင် မြေပြင်အမှန်တရားကို စောင့်ဆိုင်းနေခြင်းမရှိသည့် တိုက်ရိုက်ကွန်ရက်တွင် ၎င်းသည် အလုပ်မလုပ်ပါ။

စင်ပေါ်မှ အခြားနည်းလမ်းများကို စမ်းသပ်ပြီး ပိုဆိုးသည်။ စာကြောင်းများကြား ယုတ္တိဆက်စပ်မှုကို အကဲဖြတ်ရန် ဒီဇိုင်းထုတ်ထားသော NLI ဖြတ်ကျော်-ကုဒ်ဒါတစ်ခုသည် ရည်ညွှန်းအဖြေမပါဘဲ အဖြေအရည်အသွေးကို အဆင့်သတ်မှတ်ရန် အသုံးပြုသောအခါတွင် Pearson ဆက်စပ်မှု −0.363 ကို ပြန်ပေးခဲ့သည်။ အနုတ်လက္ခဏာဆက်စပ်မှုဆိုသည်မှာ မော်ဒယ်သည် ကောင်းမွန်သောတုံ့ပြန်မှုများထက် ညံ့ဖျင်းသောတုံ့ပြန်မှုများကို ပိုမိုနှစ်သက်ဖွယ်ရှိသည်။ ၎င်းသည် အသုံးပြုနိုင်သော အကဲဖြတ်ခြင်းကိရိယာမဟုတ်ပါ။

စာတမ်းက ဘာတွေ အဆိုပြုလဲ။

ရှိပြီးသားမော်ဒယ်များကို လိုက်လျောညီထွေဖြစ်စေမည့်အစား၊ သုတေသီများသည် အကိုးအကားကင်းသော အရည်အသွေး အမှတ်ပေးမှုအတွက် အထူးတရားသူကြီး သုံးဦးကို လေ့ကျင့်သင်ကြားပေးခဲ့သည်။ တစ်ခုစီသည် အဖြေမှန်ကို မပေးဘဲ 0 မှ 10 အထိ ရမှတ်ကို ထည့်သွင်းကာ အဖြေအဖြစ် မေးခွန်းတစ်ခုနှင့် တုံ့ပြန်မှုကို ရယူသည်။

မော်ဒယ်သုံးမျိုးသည် အဓိကအားဖြင့် အရွယ်အစားနှင့် အမြန်နှုန်း ကွဲပြားသည်-

• TextCNN (~10M ကန့်သတ်ချက်များ) ခေါ်ဆိုမှုတစ်ခုလျှင် ခန့်မှန်းခြေအားဖြင့် 1 မီလီစက္ကန့်အတွင်း လုပ်ဆောင်ပေးသောကြောင့် ၎င်းသည် high-throughput first-pass filtering အတွက် သင့်လျော်သည်။
• MiniLM (22M ကန့်သတ်ချက်များ) အလယ်မှာ 13 မီလီစက္ကန့်လောက်ရှိတယ်။
• DeBEERTa (184M ဘောင်များ) အကြမ်းဖျင်းအားဖြင့် 15 မီလီစက္ကန့်ကြာပြီး တိကျမှုအတွက် အကောင်းဆုံးပြုလုပ်ထားသည်။

သင်တန်းသည် အဆင့်နှစ်ဆင့်ဖြင့် ဆောင်ရွက်ခဲ့ပါသည်။ မော်ဒယ်များကို ကွန်ရက်၏ကိုယ်ပိုင်လုပ်ငန်းတာဝန်ခွဲဝေမှုတွင် ကောင်းစွာမချိန်ဆမီ GPT-4 အဆင့်ရှိသော တုံ့ပြန်မှုများ၏ အများသူငှာဒေတာအစုံဖြစ်သော UltraFeedback တွင် မော်ဒယ်များကို ဦးစွာကြိုတင်လေ့ကျင့်ထားသည်။ ရည်ရွယ်ချက်မှာ တရားသူကြီးများအား တိကျသော အမှတ်ပေးသည့်အကြောင်းအရာသို့ အာရုံမကျဉ်းမီ အရည်အသွေး၏ ကျယ်ပြန့်သော အခြေခံနားလည်မှုကို ပေးရန်ဖြစ်သည်။

အဓိကရလဒ်

နမူနာပေါင်း 300 ၏ စမ်းသပ်မှုတွင်၊ DeBERTa တရားသူကြီးသည် မည်သည့်ရည်ညွှန်းချက်မှ အဖြေကို ရယူခြင်းမရှိဘဲ 0.747 ၏ Pearson ဆက်စပ်မှုကို ရရှိခဲ့ပါသည်။ အကိုးအကား အခြေပြု အကဲဖြတ်သူများထံမှ သိရသည်။ ကြိုတင်မူဘောင်အဖြေမှန်များကို ရယူနိုင်ခဲ့သည့် အမြင့်ဆုံး 0.647 သို့ ရောက်ရှိခဲ့သည်။

ကွာဟချက်တွင် ရိုးရှင်းသော ရှင်းလင်းချက်တစ်ခုရှိသည်။ အဟောင်းအကဲဖြတ်သူများသည် ရည်ညွှန်းထည့်သွင်းမှုတွင် ကိုစင်အကွာအဝေးကို တိုင်းတာသည့် ဆင်တူယိုးမှားမက်ထရစ်များဖြစ်သည်။ တရားသူကြီးအသစ်များသည် အမှတ်ပေးသည့်တာဝန်အတွက် အဆုံးမှ အဆုံးအထိ အကောင်းဆုံးဖြစ်အောင် ပြုလုပ်ခဲ့သည်။ စွမ်းဆောင်ရည်ကွာခြားချက်သည် မည်သည့်ဗိသုကာဆိုင်ရာအောင်မြင်မှုများထက်မဆို ထိုထူးခြားချက်ကို ထင်ဟပ်စေသည်။

စာရေးသူ၏သတိပေးချက်တစ်ခုမှာ- ဤနေရာတွင်အသုံးပြုထားသော မြေပြင်အမှန်တရားသည် လူသား၏တရားစီရင်ခြင်းထက် တိုကင်အဆင့်စကားလုံးထပ်နေခြင်းဖြစ်သည်။ တရားသူကြီးများသည် ဤမက်ထရစ်နှင့် ကောင်းစွာဆက်စပ်နေသော်လည်း စကားလုံးထပ်နေသည့်အရာသည် လူသားတစ်ဦးအနေဖြင့် အရည်အသွေးတုံ့ပြန်မှုဟု ယူဆရမည့်အရာကို ယုံကြည်စိတ်ချစွာ ရောင်ပြန်ဟပ်မှုရှိမရှိမှာ သီးခြားဖြေရှင်း၍မရသော မေးခွန်းတစ်ခုဖြစ်သည်။

တရားသူကြီးများနှင့်အတူ ဖြန့်ကျက်မှု ဦးတည်သည့် အင်္ဂါရပ်နှစ်ခု။ ပိုက်လိုင်းတစ်ခုသည် ပေါ့ပါးသောမော်ဒယ်မှတဆင့် စုံစမ်းမေးမြန်းမှုများကို ဦးစွာလမ်းကြောင်းပေးကာ ရမှတ်များ ရှင်းရှင်းလင်းလင်းရှိမှသာ ပိုမိုလေးလံသော မော်ဒယ်များထံ တိုးသွားမည်ဖြစ်ပြီး၊ ဆက်စပ်မှုမှာ 0.51 ဝန်းကျင်သို့ ကျဆင်းသွားသော်လည်း ထိုဖွဲ့စည်းမှုတွင် အကဲဖြတ်မှု 72.7% အထိ လျှော့ချပေးသည်။ လက်ဖြင့်ညှိခြင်းမပြုဘဲ လုပ်ဆောင်နေသည့် အွန်လိုင်း ချိန်ညှိခြင်း ယန္တရားသည် ထင်ရှားသောအချက်ပြမှုအဖြစ် ဝေါဟာရအရည်အသွေးကို အဆက်မပြတ်ခွဲခြားသတ်မှတ်ကာ အလေးချိန်များကို အချိန်နှင့်အမျှ ချိန်ညှိပေးကာ ၎င်းအား အချိန်နှင့်အမျှ ၎င်း၏စတင်အလေးချိန် 4.7 ဆ သတ်မှတ်ပေးသည်။

စနစ်က ရုန်းကန်နေရဆဲပါ။

တရားသူကြီးများသည် အလုပ်အမျိုးအစားများအလိုက် ညီညာစွာလုပ်ဆောင်သည်။ မေးခွန်းဖြေဆိုရာတွင် ဆက်စပ်မှု 0.830 သို့ရောက်ရှိသည်။ အနှစ်ချုပ်အရ၊ ၎င်းသည် 0.199 သို့ ကျသွားသည်။ စာရွက်တွင် ၎င်းသည် တရားသူကြီးများကိုယ်တိုင် ရှုံးနိမ့်ခြင်းမဟုတ်သော်လည်း လေ့ကျင့်နေစဉ်အသုံးပြုသည့် အကဲဖြတ်မက်ထရစ်အတွက် ရည်ညွှန်းပါသည်။ စကားလုံးအကြမ်းထပ်ခြင်းသည် အကျဉ်းချုပ်အရည်အသွေး၏ ညံ့ဖျင်းသောအတိုင်းအတာတစ်ခုဖြစ်သောကြောင့် ၎င်းနှင့်ဆန့်ကျင်သည့် လေ့ကျင့်ထားသော မော်ဒယ်များသည် အားနည်းသောအချက်ပြမှုကို ခြေရာခံရန် သင်ယူပါသည်။ စာရေးဆရာများက ၎င်းကို တိတ်တဆိတ် စီမံခန့်ခွဲခြင်းထက် ကန့်သတ်ချက်များကို အဓိက ပွင့်လင်းသော ပြဿနာအဖြစ် ဖော်ပြကြသည်။

ထိုဘောင်သည် စာတမ်း၏ရလဒ်များကို ခြုံငုံတင်ပြပုံနှင့် ကိုက်ညီသည် — ပျက်ကွက်မှုများကို တိုးတက်မှုအဖြစ် ပြတ်ပြတ်သားသားဖော်ပြထားသည့် နည်းလမ်းဖြင့် နည်းလမ်းတကျ ဆောင်ရွက်သည်။ ဤသုတေသနစာတန်းတွင် စာတမ်းလေးခု၊ အလုပ်သည် ထုတ်ကုန်ကြေငြာချက်ကဲ့သို့ လျော့နည်းဖတ်ရပြီး ၎င်းတို့ အမှန်တကယ် လက်တွေ့အသုံးချရန် ရည်ရွယ်ထားသည့် အရာတစ်ခုအတွက် အဖွဲ့တစ်ဖွဲ့ကဲ့သို့ ကွာဟချက်များအား တိုးတိုးတိတ်တိတ် ပိတ်သွားစေသည်။