My Natural Language Processing

My NLP Page ကို 2021 ကစပြီး ပြန်လည် အသက်သွင်းပါမယ်။ မည်သူမဆို ဝင်ရောက်ဆွေးနွေး မေးမြန်းတိုင်ပင်နိုင်ပါတယ်။
ဆွေးနွေးချင်တဲ့ မည်သည့်အကြောင်းအရာမဆို AI/NLP/ML/Data Science ပိုင်းတွေကို အဓိက ထားပြီး မျှဝေကြပါမည်။

April 16-2020, tonight
8:00 PM
👏👏👏👏👏👏👏👏👏👏👏👏

Android developer
အတွေ့အကြုံ 5 နှစ် နှင့် အထက်။ API လည်းရေးနိုင်ရပါမယ်။
Team leading ရရမည်။
လစာ ၁၀ သိန်း ( အထက် ညှိနှိုင်း)
UMG Myanmar.
ဆက်သွယ်ရန် 095198550
[email protected]

Machine Learning (ML) ဆိုတာ Natural Language Processing (NLP) အတွက် မသိမဖြစ်၊ မရှိမဖြစ်လိုအပ်တဲ့နည်းပညာ ဆိုပေမဲ့၊ ML သိတာလောက်နဲ့ NLP မဖြစ်ဘူးဆိုတဲ့ အကြောင်း ဆွေးနွေးချင်ပါတယ်။
Language Processing တစ်ခုရဲ့ အနှစ်သာရကတော့ ဘာသာဗေဒ ပါပဲ။

UMGIdealab, Myanmar မှ အောက်ပါ ရာထူးအတွက် ညှိနှိုင်းလစာနှင့် အတူ၊ သင်၏ အရည်အချင်းများ အထူး အသုံးချနိုင်သော၊ ပိုမိုတိုးတတ်စေနိုင်သော အခွင့်အလမ်းများအတွက် အမြဲဖိတ်ခေါ်နေပါသည်။

ဒီပေ့ချ့် မှာ Natural Language Processing နဲ့ ပတ်သတ်ပြီးလာရောက်မျှဝေပေးကြဖို့ လေးစားစွာ ဖိတ်ခေါ်ပါတယ်။ မြန်မာ NLP နဲ့ ပတ်သတ်ပြီး၊ မိမိလေ့လာထားသမျှ၊ ကြိုးပမ်းထားသမျှ၊ သိလိုသမျှကို ပွင့်ပွင့်လင်းလင်း ရိုးရိုးသားသား ဝေမျှ မေးမြန်းနိုင်ပါတယ်။ ကျေးဇူးအထူးတင်ရှိပါသည်။

Burmese Word Segmentation (Part-1)
ပထမဆုံးအနေနဲ့ "word segmentation" ဆိုတာ ဘာလဲဆိုတာကို ဦးစွာ ဆွေးနွေး လိုပါတယ်။
အလွယ်ကူဆုံး အရှင်းဆုံး ပြောရရင်တော့ ဘာသာစကားများတွင် စာရေးသားတဲ့ အခါမှာ ဖတ်ရပိုမိုလွယ်ကူစေရန်နှင့် စကားလုံးများ ရောထွေးမှုမရှိစေရန် အဖြတ်အတောက်များထား၍ ရေးသားကြသည်။ Digital ခေတ်ရောက်လာသောအခါ "space" တစ်ချက်၊ word တစ်လုံးလို့ ဆိုရိုးပြုကြပါတယ်။ နမူနာအားဖြင့် ဂျပန်၊ တရုတ်နှင့် မြန်မာကို ယှဉ်တွဲပြထားပါသည်။
အောက်ပါပုံနှစ်ပုံမှ မြန်မာစာနှင့် ရေးထားသော ပုံထဲမှ စာများ၏ အဖြတ်အတောက်များ ကို real word segmentation လို့ ဆိုနိုင်ပါသလား? ဆိုတာ လက်ဆက်ဆွေးနွေးကြပါစို့။

NLP အကြောင်း မရေးတာ၊ မမျှတာကြာပြီဖြစ်လို့၊ အခု ပြန်ရေးတဲ့အထိမ်းအမှတ်အနေနဲ့ မြန်မာ (ဗမာစာ) စကားဖြတ်၊ ပုဒ်ဖြတ် အကြောင်း ဆွေးနွေးချင်ပါတယ်။ တနည်းအားဖြင့် Burmese Word and Phrase Segmentation အကြောင်းဖြစ်ပါတယ်။ နည်းပညာ၊ သီအိုရီတွေကို ခဏမေ့ပြီး ဘာသာဗေဒနည်းနဲ့ ဆွေးနွေးမယ်ဆို ပို၍ကြိုဆိုပါတယ်။

I would like to discuss about sentiment analysis for a MM language.
Whoever can join here.

Machine Learning Technique and Natural Language Processing
*************************************************************************
Machine Learning Technique ဆိုတာ NLP ရဲ့ အရေးကြီးတဲ့ လုပ်ငန်းစဉ်တွေမှာ မသိမဖြစ်လိုအပ်လာတဲ့ နည်းပညာ (သို့မဟုတ်) ချည်းကပ်နည်းတခုလို့ဆိုရပါတယ်။
အဓိကအားဖြင့် မိမိဘာသာစကားကို အသုံးပြုပြီး Processing တွေ လုပ်ဖို့၊ ဘာသာဗေဒနဲ့ ပတ်သတ်တဲ့ rule တွေကို တည်ဆောက်ရတဲ့အခါ လိုအပ်တဲ့ ဘာသာဗေဒ အချက်အလက်တွေကို Training Data Set အဖြစ် တည်ဆောက်ရပါတယ်။ ၎င်း Train Data set တွေဟာလည်း statistical approach ကို အသုံးပြုမယ်ဆိုရင် Machine Learning ကို သေချာပေါက် အသုံးပြုရတော့မှာဖြစ်ပါတယ်။
နားလည်အလွယ်ဆုံး ပြောရရင်တော့ Machine Translation လို စနစ်မျိုးတည်ဆောက်တဲ့ အခါ Pattern based, Dictionary based စတဲ့ approach တွေနဲ့ တည်ဆောက်မယ်ဆိုရင် Machine Learning ကို သုံးစရာမလိုအပ်သေးပါဘူး။
သို့ပေမဲ့ Corpus သုံးပြီး statistical Machine Translation ကို တည်ဆောက်မယ်ဆိုရင်တော့ သေချာပေါက် Machine Learning Technique ကို အသုံးပြုရပါတယ်။
ထို့ပြင် NLP ရဲ့ လုပ်ငန်းစဉ်တွေထဲမှာ Information Extraction အပိုင်းကိုလုပ်တဲ့အခါ "Name Entities Recognition" နဲ့ Entity တခုချင်းစီရဲ့ ဆက်နွယ်ပုံတွေကို Machine Learning ကိုသုံးပြီး ဘာသာစကားရဲ့ အချက်အလက်တွေ၊ ဆက်နွယ်ပုံတွေကို Recognize လုပ်ရပါတယ်။
Natural Language Processing အလုပ်နဲ့ ပတ်သတ်ပြီး Engine တွေ၊ Tool တွေနဲ့ Software တွေတည်ဆောက်တဲ့ အခါ ဘာသာဗေဒ (linguistic) အရ အလွန်အရေးကြီးတဲ့ လုပ်ငန်းကြီးဖြစ်တဲ့ Part of Speech (POS) Tagging နဲ့ Parsing တွေမှာဆို Machine Learning Technique ဟာ အလွန်မှာ အရေးပါလွန်းလှပါတယ်။
(MLT+NLP အကြောင်းကို ဆက်လက် ဖော်ပြပေးသွားပါအုံးမယ်၊ မိမိအကြုံကို မျှလိုသူများနှင့် ဆွေးနွေးလိုသူများကို ဖိတ်ခေါ်ပါတယ်။)

If you have to learn about Lexicon , you might know about MDF as a linguist.

The Linguist's Shoebox: Multi-Dictionary Formatter (MDF) Computer software that provides integrated data management and analysis for the field linguist

Statistical machine translation (SMT) and translation memories
************************************************************************(TM)
******
Two technological advances in the field of automated language translation, translation memory (TM) and statistical machine translation (SMT),have seen vast progress over the last decades, but they have been developed very much in isolation.
"TMs" are a tool for human translators. Since many translation needs are highly repetitive (translation of updated product manuals, or several drafts of leg-islation), being able to find existing translations of segments of the source language text, alleviates the need to carry out redundant translation. TM have addressed the need of translation agencies
to produce high-quality translations of often repetitive material, SMT has set itself the challenge of open domain translations such as news stories and is mostly satisfied with translation quality that is good enough for girting, i.e., transmitting the meaning of the source text to a target language speaker.