छिपा मार्कोव मॉडल

एक छिपा हुआ मार्कोव मॉडल (HMM) एक सांख्यिकीय मॉडल है जिसका उपयोग अवलोकनों के अनुक्रमों का वर्णन करने के लिए किया जाता है जो एक अंतर्निहित, अदृश्य प्रक्रिया पर निर्भर करते हैं। संभाव्यता सिद्धांत में, एक HMM एक मार्कोव मॉडल है जिसमें अवलोकन एक अव्यक्त (या छिपी) मार्कोव प्रक्रिया पर निर्भर करते हैं, जिसे अक्सर X के रूप में दर्शाया जाता है। मॉडल के लिए एक अवलोकनीय प्रक्रिया Y की आवश्यकता होती है जिसके परिणाम X के परिणामों पर ज्ञात तरीके से निर्भर करते हैं। चूंकि X को सीधे नहीं देखा जा सकता है, लक्ष्य Y को देखकर X की स्थिति के बारे में सीखना है। मार्कोव मॉडल होने की परिभाषा के अनुसार, एक HMM की अतिरिक्त आवश्यकता होती है कि समय t0 पर Y का परिणाम विशेष रूप से समय t0 पर X के परिणाम से प्रभावित होना चाहिए, और समय t0 से पहले X और Y के परिणाम, X के समय t0 पर दिए जाने पर Y के t0 पर सशर्त रूप से स्वतंत्र होने चाहिए। HMM में मापदंडों का अनुमान अधिकतम संभावना अनुमान का उपयोग करके किया जा सकता है; रैखिक श्रृंखला HMM के लिए, बॉम-वेल्च एल्गोरिथ्म आमतौर पर उपयोग किया जाता है।

छिपे हुए मार्कोव मॉडल कई क्षेत्रों में अपने अनुप्रयोगों के लिए जाने जाते हैं, जिनमें ऊष्मागतिकी, सांख्यिकीय यांत्रिकी, भौतिकी, रसायन विज्ञान, अर्थशास्त्र, वित्त, सिग्नल प्रोसेसिंग, सूचना सिद्धांत और पैटर्न पहचान शामिल हैं। विशिष्ट उपयोगों में भाषण पहचान, हस्तलेखन पहचान, हावभाव पहचान, शब्द-भेद टैगिंग, संगीत स्कोर अनुसरण, आंशिक निर्वहन और जैव सूचना विज्ञान शामिल हैं।

औपचारिक परिभाषा

मान लीजिए X_n और Y_n असतत-समय स्टोकेस्टिक प्रक्रियाएं हैं जिनमें n ≥ 1 है। युग्म (X_n, Y_n) एक छिपा हुआ मार्कोव मॉडल है यदि X_n एक मार्कोव प्रक्रिया है जिसका व्यवहार सीधे अवलोकन योग्य नहीं है (इसलिए "छिपा"), और X के पूरे इतिहास को देखते हुए Y_n की सशर्त संभावना P(Y_n ∈ A | X_1 = x_1, ..., X_n = x_n) = P(Y_n ∈ A | X_n = x_n) को संतुष्ट करती है, प्रत्येक n ≥ 1, प्रत्येक अनुक्रम x_1, ..., x_n, और प्रत्येक बोरेल समुच्चय A के लिए। यह शर्त सुनिश्चित करती है कि समय n पर अवलोकन केवल समय n पर छिपी स्थिति पर निर्भर करता है, पहले की छिपी स्थितियों पर नहीं।

सतत-समय प्रक्रियाओं के लिए, युग्म (X_t, Y_t) एक छिपा हुआ मार्कोव मॉडल है यदि X_t एक मार्कोव प्रक्रिया है जो सीधे अवलोकन योग्य नहीं है, और t0 तक X के पूरे पथ को देखते हुए Y की t0 पर संभावना केवल t0 पर X दिए जाने की संभावना के बराबर है: P(Y_t0 ∈ A | {X_t ∈ B_t for t ≤ t0}) = P(Y_t0 ∈ A | X_t0)। यह असतत-समय की परिभाषा को सतत समय तक सामान्यीकृत करता है।

मुख्य घटक

एक HMM आमतौर पर तीन सेट मापदंडों द्वारा विशेषता है। पहला, प्रारंभिक अवस्था वितरण, जो छिपी प्रक्रिया के प्रत्येक संभावित अवस्था में शुरू होने की संभावनाओं को निर्दिष्ट करता है। दूसरा, संक्रमण संभावनाएं, जो वर्णन करती हैं कि मार्कोव गुण के अनुसार छिपी स्थिति समय के साथ कैसे विकसित होती है। तीसरा, उत्सर्जन संभावनाएं, जो वर्तमान छिपी स्थिति को देखते हुए प्रत्येक संभावित आउटपुट को देखने की संभावना देती हैं। ये घटक एक साथ छिपे और अवलोकन योग्य अनुक्रमों के संयुक्त वितरण को परिभाषित करते हैं।

छिपी हुई अवस्थाएं स्वयं एक मार्कोव श्रृंखला बनाती हैं, जिसका अर्थ है कि एक नई स्थिति में जाने की संभावना केवल वर्तमान स्थिति पर निर्भर करती है, पहले की स्थितियों पर नहीं। अवलोकन योग्य प्रक्रिया छिपी हुई अवस्थाओं को देखते हुए सशर्त रूप से स्वतंत्र है, जो अनुमान और सीखने को सरल बनाती है।

अनुमान और सीखना

HMM में एक केंद्रीय समस्या अनुमान है: अवलोकनों के अनुक्रम को देखते हुए, छिपी हुई अवस्थाओं का सबसे संभावित अनुक्रम निर्धारित करें। विटरबी एल्गोरिथ्म एक गतिशील प्रोग्रामिंग विधि है जिसका उपयोग इस उद्देश्य के लिए किया जाता है, जो सबसे अच्छा एकल अवस्था अनुक्रम ढूंढता है। एक और अनुमान कार्य मॉडल को देखते हुए अवलोकन अनुक्रम की संभावना की गणना करना है, जो फॉरवर्ड एल्गोरिथ्म का उपयोग करके किया जा सकता है। फॉरवर्ड-बैकवर्ड एल्गोरिथ्म प्रत्येक समय बिंदु पर प्रत्येक अवस्था में होने की पश्च संभावनाओं की गणना करता है, जो स्मूथिंग जैसे कार्यों के लिए उपयोगी है।

पैरामीटर अनुमान आमतौर पर अधिकतम संभावना अनुमान के माध्यम से किया जाता है। रैखिक श्रृंखला HMM के लिए, बॉम-वेल्च एल्गोरिथ्म, जो अपेक्षा-अधिकतमीकरण (EM) एल्गोरिथ्म का एक विशेष मामला है, देखे गए डेटा की संभावना को अधिकतम करने के लिए मॉडल मापदंडों को पुनरावृत्त रूप से अद्यतन करता है। यह एल्गोरिथ्म वर्तमान मापदंडों को देखते हुए अपेक्षित पर्याप्त आँकड़ों की गणना करने और उन अपेक्षाओं को अधिकतम करने के लिए मापदंडों का पुनः अनुमान लगाने के बीच वैकल्पिक होता है।

ऐतिहासिक विकास

HMM की जड़ें लियोनार्ड बॉम और सहयोगियों के काम में हैं, जिन्होंने 1960 के दशक के अंत और 1970 के दशक की शुरुआत में फॉरवर्ड-बैकवर्ड एल्गोरिथ्म और बॉम-वेल्च एल्गोरिथ्म विकसित किए। सैद्धांतिक नींव को लॉयड वेल्च जैसे शोधकर्ताओं द्वारा और परिष्कृत किया गया। 1980 के दशक में, HMM ने भाषण पहचान में प्रमुखता प्राप्त की, विशेष रूप से ज़ेरॉक्स पार्क जैसे संस्थानों में काम के माध्यम से। ये मॉडल मशीन लर्निंग में अनुक्रमिक डेटा के लिए एक मानक उपकरण बन गए, इससे पहले कि डीप लर्निंग और न्यूरल नेटवर्क दृष्टिकोण उभरे।

1990 और 2000 के दशक में, HMM व्यापक रूप से जैव सूचना विज्ञान में जीन खोज, प्रोटीन संरचना भविष्यवाणी और अनुक्रम संरेखण के लिए लागू किए गए। वे प्राकृतिक भाषा प्रसंस्करण में शब्द-भेद टैगिंग और नामित इकाई पहचान के लिए भी महत्वपूर्ण बन गए। मॉडलों को बाद में विभिन्न तरीकों से विस्तारित किया गया, जैसे पदानुक्रमित HMM और युग्मित HMM, अधिक जटिल निर्भरताओं को संभालने के लिए।

अनुप्रयोग

HMM को समस्याओं की एक विस्तृत श्रृंखला पर लागू किया गया है। भाषण पहचान में, वे छिपी ध्वन्यात्मक अवस्थाओं द्वारा उत्पन्न ध्वनिक विशेषताओं के अनुक्रम का मॉडल बनाते हैं। हस्तलेखन और हावभाव पहचान में, वे स्ट्रोक या आंदोलनों की अस्थायी गतिशीलता को पकड़ते हैं। जैव सूचना विज्ञान में, उनका उपयोग जीन भविष्यवाणी और प्रोटीन परिवारों के मॉडलिंग के लिए किया जाता है। वित्त में, वे आर्थिक समय श्रृंखला में शासनों का मॉडल कर सकते हैं, जैसे बुल और बियर बाजार। सिग्नल प्रोसेसिंग में, उनका उपयोग भाषण संवर्धन और गतिविधि पहचान के लिए किया जाता है।

आधुनिक ट्रांसफॉर्मर-आधारित मॉडलों के कृत्रिम बुद्धिमत्ता में प्रभुत्व के बावजूद, HMM उन कार्यों के लिए प्रासंगिक बने हुए हैं जहां व्याख्यात्मकता और छोटा डेटा महत्वपूर्ण हैं। उनका उपयोग अधिक जटिल प्रणालियों में घटकों के रूप में भी किया जाता है, जैसे हाइब्रिड मॉडल जो HMM को न्यूरल नेटवर्क क्लासिफायर के साथ जोड़ते हैं। HMM की सरलता और गणितीय सुगमता उन्हें संभाव्य मॉडलिंग में एक आधारभूत उपकरण बनाती है।

सीमाएं और विस्तार

HMM मानते हैं कि छिपी प्रक्रिया मार्कोवियन है और अवलोकन छिपी स्थिति को देखते हुए सशर्त रूप से स्वतंत्र हैं। ये धारणाएं जटिल वास्तविक-विश्व डेटा के लिए प्रतिबंधात्मक हो सकती हैं। विस्तार में उच्च-क्रम HMM शामिल हैं, जहां छिपी स्थिति कई पिछली स्थितियों पर निर्भर करती है, और इनपुट-आउटपुट HMM, जो बहिर्जात चर को शामिल करते हैं। छिपे अर्ध-मार्कोव मॉडल प्रत्येक अवस्था में परिवर्तनीय अवधि की अनुमति देते हैं, जो मानक HMM की एक सामान्य सीमा को संबोधित करता है।

आधुनिक मशीन लर्निंग के संदर्भ में, HMM की तुलना अक्सर आवर्तक तंत्रिका नेटवर्क और ट्रांसफॉर्मर मॉडल से की जाती है, जो लंबी-सीमा निर्भरता को पकड़ सकते हैं। हालांकि, HMM व्याख्यात्मकता और छोटे डेटासेट के साथ काम करने की क्षमता के मामले में लाभ प्रदान करते हैं। वे अनुसंधान का एक सक्रिय क्षेत्र बने हुए हैं, विशेष रूप से कम्प्यूटेशनल जीव विज्ञान और भाषण प्रसंस्करण जैसे क्षेत्रों में।