आवाज़ क्लोनिंग

वॉइस क्लोनिंग Text-to-speech का एक विशेष अनुप्रयोग है जिसमें एक मॉडल किसी व्यक्ति की रिकॉर्ड की गई वाणी के नमूने से उनकी विशिष्ट स्वर-विशेषताओं, जैसे कि स्वर-रंग, पिच, और बोलने की शैली, को सीखता है, और फिर उसी आवाज़ में मनमाना पाठ बोलते हुए नई वाणी उत्पन्न करता है। प्रारंभिक प्रणालियों को प्रति वक्ता कई मिनट या घंटों की साफ रिकॉर्डिंग की आवश्यकता होती थी; 2020 के दशक की शुरुआत तक, कुछ-शॉट और यहां तक कि कुछ-सेकंड की क्लोनिंग व्यावसायिक रूप से उपलब्ध हो गई।

तकनीकी विकास

पारंपरिक TTS प्रणालियों को एक ही वक्ता की आवाज़ पर शुरू से प्रशिक्षित किया जाता था, यह दृष्टिकोण छोटे नमूनों से क्लोनिंग के लिए बहुत अधिक डेटा-मांग वाला था। वॉइस क्लोनिंग तब व्यावहारिक बनी जब तंत्रिका TTS मॉडल को "क्या कहा गया है" को "कौन बोल रहा है" से अलग करने के लिए बनाया गया, आमतौर पर एक छोटे संदर्भ क्लिप से निकाले गए एक संक्षिप्त वक्ता Embedding पर एक साझा जनरेटिव मॉडल को सशर्त बनाकर। इससे एक प्रशिक्षित प्रणाली किसी भी वक्ता की शैली में वाणी उत्पन्न कर सकती थी जिसके लिए एक छोटा नमूना उपलब्ध था, बजाय प्रति आवाज़ एक समर्पित मॉडल की आवश्यकता के। 2020 के दशक की शुरुआत में Diffusion model और Transformer (architecture)-आधारित ऑडियो जनरेशन में सुधार ने आवश्यक संदर्भ ऑडियो को मिनटों से घटाकर सेकंड तक कर दिया, साथ ही स्वाभाविकता और अभिव्यंजना में सुधार किया, जिसमें संरक्षित भावना और उच्चारण शामिल हैं।

अनुप्रयोग

वॉइस क्लोनिंग के वैध उपयोग हैं, जैसे फिल्मों और गेम्स को अन्य भाषाओं में डब करना जबकि अभिनेता की आवाज़ को संरक्षित रखना, बीमारी के कारण बोलने की क्षमता खो चुके व्यक्ति की आवाज़ को बहाल करना, व्यक्तिगत पहुंच उपकरण, और सामग्री निर्माण जैसे कि लेखक की अपनी आवाज़ में सुनाई गई ऑडियोबुक। ElevenLabs सहित कंपनियों ने इन उपयोग मामलों के आसपास व्यावसायिक उत्पाद बनाए, जो मीडिया और स्थानीयकरण कंपनियों द्वारा उपयोग किए जाने वाले आवाज़ बाज़ार और डबिंग पाइपलाइन पेश करते हैं।

सहमति, धोखाधड़ी, और दुरुपयोग

वही तकनीक जो वैध डबिंग को सक्षम बनाती है, प्रतिरूपण को भी सक्षम बनाती है। क्लोन की गई आवाज़ों का उपयोग धोखाधड़ी वाली कॉलों में रिश्तेदारों या अधिकारियों का प्रतिरूपण करके पैसे मांगने के लिए, राजनीतिक संदर्भों में जनता को गुमराह करने के लिए बनाए गए नकली ऑडियो क्लिप में, और बिना अनुमति या मुआवजे के किसी आवाज़ अभिनेता या सार्वजनिक हस्ती की आवाज़ के अनधिकृत व्यावसायिक उपयोग में किया गया है, यह मुद्दा व्यापक AI and copyright और समानता बहस से जुड़ा है। उच्च-प्रोफ़ाइल घटनाओं, जिनमें 2024 संयुक्त राज्य चुनाव चक्र के दौरान एक राजनीतिक उम्मीदवार की आवाज़ का प्रतिरूपण करने वाले AI-जनित रोबोकॉल शामिल हैं, ने नियामक ध्यान तेज कर दिया। कई न्यायक्षेत्रों और राज्यों ने प्रचार-अधिकार और धोखाधड़ी-विरोधी कानून को स्पष्ट रूप से सिंथेटिक आवाज़ तक विस्तारित किया, और कुछ AI कंपनियों ने प्रतिक्रिया में अपने क्लोनिंग उत्पादों में सहमति-सत्यापन चरण, उपयोग प्रतिबंध, और AI watermarking जोड़े।

पहचान और शमन

क्योंकि क्लोन की गई आवाज़ें अब मनुष्यों के लिए वास्तविक रिकॉर्डिंग से अलग करना मुश्किल हो सकती हैं, वित्तीय संस्थानों और संवेदनशील आवाज़ प्रमाणीकरण को संभालने वाली कंपनियों को आवाज़ को सुरक्षा कारक के रूप में पुनर्विचार करना पड़ा है, और फोरेंसिक ऑडियो पहचान वीडियो और छवि Deepfake पहचान के साथ-साथ सिंथेटिक मीडिया की पहचान करने के व्यापक प्रयास के भीतर एक सक्रिय क्षेत्र बन गया है, यह विषय AI safety के व्यापक क्षेत्र के अंतर्गत आता है। 2020 के दशक के मध्य तक, पहचान उपकरण गुणवत्ता निर्माण से पीछे हैं, और वॉइस क्लोनिंग को व्यापक रूप से जनरेटिव AI के अधिक तत्काल हानिकारक अनुप्रयोगों में से एक के रूप में उद्धृत किया जाता है, इसकी कम लागत और धोखाधड़ी परिदृश्यों में उच्च प्रेरक शक्ति के कारण।