थॉमस सियालोम मेटा एआई (अब मेटा में एआई अनुसंधान का हिस्सा) में एक शोध वैज्ञानिक हैं, जिन्हें बड़े भाषा मॉडल और मशीन लर्निंग पर उनके काम के लिए पहचाना जाता है। वे 2023 में जारी ओपन-सोर्स बड़े भाषा मॉडल के परिवार, Llama 2 के सह-लेखक के रूप में सबसे अधिक जाने जाते हैं, और रिट्रीवल-ऑगमेंटेड जनरेशन और reinforcement learning from human feedback (RLHF) जैसी तकनीकों के माध्यम से इन मॉडलों की तथ्यात्मक सटीकता और तर्क क्षमताओं को बेहतर बनाने पर उनके शोध के लिए जाने जाते हैं। उनके काम ने शैक्षणिक अनुसंधान और जनरेटिव एआई में व्यावहारिक अनुप्रयोगों दोनों को प्रभावित किया है।
सियालोम का शोध डीप लर्निंग, प्राकृतिक भाषा प्रसंस्करण और तंत्रिका नेटवर्क आर्किटेक्चर के प्रतिच्छेदन पर स्थित है। उन्होंने मेटा एआई में कई परियोजनाओं में योगदान दिया है, जिसमें Llama और इसके उत्तराधिकारियों का विकास शामिल है, और पाठ सारांशीकरण, प्रश्नोत्तर और मॉडल संरेखण जैसे विषयों पर व्यापक रूप से प्रकाशित किया है। उनके योगदान एआई समुदाय के भीतर अधिक विश्वसनीय और नियंत्रणीय भाषा मॉडल बनाने के व्यापक प्रयास का हिस्सा हैं।
प्रारंभिक करियर और शिक्षा
थॉमस सियालोम ने कंप्यूटर विज्ञान में अपनी डॉक्टरेट की पढ़ाई पूरी की, जिसमें प्राकृतिक भाषा प्रसंस्करण और डीप लर्निंग पर ध्यान केंद्रित किया गया। उनका पीएचडी शोध, जो शैक्षणिक संस्थानों और उद्योग प्रयोगशालाओं के सहयोग से आयोजित किया गया था, ने पाठ सारांशीकरण और Sequence-to-Sequence (Seq2Seq) मॉडल के लिए नवीन दृष्टिकोणों की खोज की। बाद में वे मेटा एआई (पूर्व में फेसबुक एआई रिसर्च) में एक शोध वैज्ञानिक के रूप में शामिल हुए, जहाँ उन्होंने बड़े पैमाने पर भाषा मॉडल पर काम करना शुरू किया।
अपने प्रारंभिक करियर के दौरान, सियालोम ने ट्रांसफॉर्मर-आधारित आर्किटेक्चर पर कई मौलिक पेपरों में योगदान दिया, विशेष रूप से सारांशीकरण और संवाद प्रणालियों के संदर्भ में। उनके काम में अक्सर मॉडल प्रदर्शन का आकलन करने में मूल्यांकन मेट्रिक्स और मानव मूल्यांकन के महत्व पर जोर दिया गया, एक विषय जो उनके बाद के RLHF शोध में जारी रहा।
Llama 2 में योगदान
सियालोम जुलाई 2023 में मेटा एआई द्वारा जारी Llama 2 के प्रमुख योगदानकर्ता थे। Llama 2 7 बिलियन से 70 बिलियन पैरामीटर तक के पूर्व-प्रशिक्षित और फाइन-ट्यून किए गए बड़े भाषा मॉडल का एक संग्रह है। अपने पूर्ववर्ती के विपरीत, Llama 2 को व्यावसायिक उपयोग के लिए उपलब्ध कराया गया था, जो ओपन-सोर्स एआई परिदृश्य में एक महत्वपूर्ण बदलाव का संकेत देता है। सियालोम ने साथ में तकनीकी रिपोर्ट का सह-लेखन किया, जिसमें मॉडल की वास्तुकला, प्रशिक्षण डेटा और संरेखण प्रक्रिया का विवरण दिया गया था।
Llama 2 का एक उल्लेखनीय पहलू उपयोगिता और सुरक्षा में सुधार के लिए मानव प्रतिक्रिया से सुदृढीकरण सीखने का उपयोग था। सियालोम का RLHF पर शोध, जिसमें रिवॉर्ड मॉडल और प्रॉक्सिमल पॉलिसी ऑप्टिमाइज़ेशन तकनीकों का विकास शामिल है, इस प्रयास में सहायक था। मॉडल की रिलीज़ ने व्यापक रूप से अपनाने को बढ़ावा दिया और अन्य संगठनों के बाद के ओपन-सोर्स मॉडल को प्रभावित किया।
रिट्रीवल-ऑगमेंटेड जनरेशन पर शोध
Llama 2 के अलावा, सियालोम ने रिट्रीवल-ऑगमेंटेड जनरेशन (RAG) में महत्वपूर्ण योगदान दिया है, एक विधि जो तथ्यात्मक सटीकता में सुधार के लिए सूचना पुनर्प्राप्ति को जनरेटिव मॉडल के साथ जोड़ती है। इस क्षेत्र में उनके काम, जिसमें पेपर "Recitation-Augmented Language Models" (2022) शामिल है, ने प्रदर्शित किया कि उत्तर उत्पन्न करने से पहले मॉडल को प्रासंगिक अंशों को पढ़ने के लिए प्रेरित करना ज्ञान-गहन कार्यों पर प्रदर्शन को बढ़ा सकता है।
शोध की यह पंक्ति बड़े भाषा मॉडल की एक प्रमुख सीमा को संबोधित करती है: उनकी प्रशंसनीय लेकिन गलत जानकारी उत्पन्न करने की प्रवृत्ति, जिसे अक्सर भ्रम कहा जाता है। बाहरी ज्ञान स्रोतों को एकीकृत करके, सियालोम के तरीकों का उद्देश्य मॉडल आउटपुट को सत्यापन योग्य तथ्यों में आधारित करना था, एक दिशा जो कई एआई अनुप्रयोगों, जिसमें प्रश्नोत्तर और तथ्य-जांच शामिल है, के लिए केंद्रीय बन गई है।
प्रभाव और मान्यता
सियालोम के काम को एआई समुदाय में व्यापक रूप से उद्धृत किया गया है, और वे NeurIPS, ICML और ACL जैसे सम्मेलनों में लगातार वक्ता हैं। ओपन-सोर्स एआई में उनके योगदान, विशेष रूप से Llama 2 के माध्यम से, उन्नत भाषा मॉडल तक पहुंच को लोकतांत्रिक बनाने के लिए सराहे गए हैं। उन्होंने गूगल डीपमाइंड और ओपनएआई सहित अन्य प्रमुख संस्थानों के शोधकर्ताओं के साथ भी मॉडल मूल्यांकन और संरेखण से संबंधित विषयों पर सहयोग किया है।
2024 तक, सियालोम मेटा एआई में काम करना जारी रखे हुए हैं, बड़े भाषा मॉडल के तर्क और सुरक्षा में सुधार पर ध्यान केंद्रित कर रहे हैं। उनका शोध कृत्रिम बुद्धिमत्ता की दिशा को आकार देने में प्रभावशाली बना हुआ है, विशेष रूप से ऐसे मॉडल के विकास में जो शक्तिशाली और विश्वसनीय दोनों हैं।
यह भी देखें
- बड़ा भाषा मॉडल
- मानव प्रतिक्रिया से सुदृढीकरण सीखना
- रिट्रीवल-ऑगमेंटेड जनरेशन
- मेटा एआई