AudioLDM एक टेक्स्ट-टू-ऑडियो जनरेटिव मॉडल है जो प्राकृतिक भाषा विवरणों से ध्वनि क्लिप उत्पन्न करता है। इस मॉडल की घोषणा 2025 में इसकी विकास टीम द्वारा एक सोशल मीडिया पोस्ट के माध्यम से की गई थी, साथ ही arXiv पर एक तकनीकी पेपर अपलोड किया गया था। डेवलपर्स ने कहा कि मॉडल के वेट और इन्फ्रेंस कोड का ओपन-सोर्स रिलीज़ की योजना है, हालांकि घोषणा के समय कोई विशिष्ट तारीख नहीं दी गई थी।
यह मॉडल Generative AI और Deep learning में प्रगति पर आधारित है, विशेष रूप से लेटेंट डिफ्यूज़न आर्किटेक्चर का लाभ उठाता है जो छवि निर्माण में सफल रहा है। पहले के टेक्स्ट-टू-ऑडियो सिस्टम के विपरीत, जो ऑटोरेग्रेसिव या GAN-आधारित दृष्टिकोणों पर निर्भर थे, AudioLDM एक संपीड़ित लेटेंट स्पेस में काम करता है, जो प्रशिक्षण और इन्फ्रेंस दोनों के दौरान कम्प्यूटेशनल आवश्यकताओं को कम करता है। घोषित संस्करण कथित रूप से इनपुट प्रॉम्प्ट को संसाधित करने के लिए एक ट्रांसफॉर्मर-आधारित टेक्स्ट एनकोडर का उपयोग करता है, जो उन्हें ऑडियो डिकोडर के लिए कंडीशनिंग सिग्नल में परिवर्तित करता है।
आर्किटेक्चर और प्रशिक्षण
AudioLDM की आर्किटेक्चर में तीन मुख्य घटक शामिल हैं: एक टेक्स्ट एनकोडर, एक लेटेंट डिफ्यूज़न बैकबोन, और वेवफॉर्म संश्लेषण के लिए एक वोकोडर। Transformer (architecture) आर्किटेक्चर पर आधारित टेक्स्ट एनकोडर, इनपुट टेक्स्ट को एम्बेडिंग के अनुक्रम में मैप करता है। U-Net वेरिएंट के रूप में लागू डिफ्यूज़न बैकबोन, इन एम्बेडिंग पर कंडीशन किए गए लेटेंट प्रतिनिधित्व को पुनरावृत्त रूप से डीनॉइज़ करता है। अंतिम चरण एक न्यूरल वोकोडर का उपयोग करता है ताकि डीनॉइज़ किए गए लेटेंट को कच्चे ऑडियो वेवफॉर्म में परिवर्तित किया जा सके।
मॉडल के लिए प्रशिक्षण डेटा में ऑडियो-टेक्स्ट नमूनों का एक बड़ा कोरपस शामिल था, जो कथित रूप से AudioCaps और Clotho जैसे सार्वजनिक डेटासेट से लिया गया था, साथ ही स्वचालित रूप से उत्पन्न कैप्शन के साथ अतिरिक्त वेब-स्क्रैप किया गया ऑडियो भी शामिल था। डेवलपर्स ने प्रारंभिक घोषणा में प्रशिक्षण घंटों की सटीक संख्या या पैरामीटर गणना का खुलासा नहीं किया, लेकिन बताया कि मॉडल को लगभग दो सप्ताह के लिए 128 GPU के क्लस्टर पर प्रशिक्षित किया गया था।
क्षमताएं और बेंचमार्क
arXiv पेपर में, लेखकों ने AudioCaps और Clotho बेंचमार्क पर मात्रात्मक परिणाम रिपोर्ट किए। AudioLDM ने AudioCaps पर 2.31 और Clotho पर 3.02 का Frechet Audio Distance (FAD) प्राप्त किया, जो दोनों मेट्रिक्स में AudioGen और Tango जैसे पिछले स्टेट-ऑफ-द-आर्ट मॉडल से बेहतर प्रदर्शन करता है। मॉडल ने KL डाइवर्जेंस स्कोर पर भी प्रतिस्पर्धी प्रदर्शन दिखाया, जो टेक्स्ट-ऑडियो संरेखण का एक माप है, जिसमें AudioCaps पर 1.47 का स्कोर था।
गुणात्मक मूल्यांकन ने संकेत दिया कि AudioLDM विभिन्न प्रकार की ध्वनियाँ उत्पन्न कर सकता है, जिनमें परिवेशी शोर, संगीत वाद्ययंत्र, पशु स्वर, और मानव भाषण प्रभाव शामिल हैं। मॉडल अवधि, लाउडनेस, और स्टीरियो चौड़ाई जैसी विशेषताओं के आधार पर कंडीशनल जनरेशन का समर्थन करता था, हालांकि ये सुविधाएँ प्रारंभिक रिलीज़ में पूरी तरह से प्रलेखित नहीं थीं।
अन्य मॉडलों के साथ तुलना
AudioLDM Machine learning में मल्टीमोडल जनरेटिव सिस्टम की ओर एक व्यापक प्रवृत्ति का हिस्सा है। OpenAI के Jukebox के विपरीत, जो संगीत पर केंद्रित है और एक पदानुक्रमित VQ-VAE का उपयोग करता है, AudioLDM सामान्य ऑडियो को संभालता है और एक सरल लेटेंट डिफ्यूज़न दृष्टिकोण का उपयोग करता है। Google के AudioLM की तुलना में, जो एक असतत टोकन स्पेस में काम करता है, AudioLDM निरंतर लेटेंट उत्पन्न करता है, जो संभावित रूप से तेज़ इन्फ्रेंस प्रदान करता है। डेवलपर्स ने नोट किया कि AudioLDM की इन्फ्रेंस गति एकल NVIDIA V100 GPU पर रीयल-टाइम से लगभग 3.5 गुना तेज़ थी, जो पिछले डिफ्यूज़न-आधारित ऑडियो मॉडल की तुलना में एक महत्वपूर्ण सुधार है।
ओपन-सोर्स योजनाएं और स्वागत
इस घोषणा ने Artificial intelligence समुदाय में काफी रुचि उत्पन्न की, विशेष रूप से ऑडियो जनरेशन पर काम करने वाले शोधकर्ताओं के बीच। नियोजित ओपन-सोर्स रिलीज़ को प्रतिलिपि प्रस्तुति की दिशा में एक कदम के रूप में देखा गया, क्योंकि कई वाणिज्यिक टेक्स्ट-टू-ऑडियो सिस्टम बंद रहते हैं। डेवलपर्स ने संकेत दिया कि कोड Apache 2.0 लाइसेंस के तहत जारी किया जाएगा, जिसमें मॉडल वेट शुरू में गैर-वाणिज्यिक शोध उपयोग के लिए उपलब्ध होंगे, हालांकि यह नीति बदल सकती है।
सोशल मीडिया और डेवलपर फोरम पर प्रारंभिक समुदाय प्रतिक्रियाओं ने मॉडल की ऑडियो गुणवत्ता और पेपर की पद्धति की स्पष्टता की प्रशंसा की। कुछ शोधकर्ताओं ने नोट किया कि घोषणा के समय डेमो पेज की कमी एक सीमा थी, लेकिन टीम ने कोड रिलीज़ के साथ एक इंटरैक्टिव डेमो होस्ट करने का वादा किया।
सीमाएं और भविष्य का कार्य
पेपर ने कई सीमाओं को स्वीकार किया। AudioLDM कभी-कभी कई एक साथ ध्वनि स्रोतों वाले प्रॉम्प्ट के लिए कलाकृतियाँ उत्पन्न करता था, जैसे 'एक व्यस्त सड़क पर भौंकता कुत्ता।' मॉडल दुर्लभ या अमूर्त अवधारणाओं के साथ भी संघर्ष करता था, और 20 टोकन से अधिक लंबे प्रॉम्प्ट के लिए इसका प्रदर्शन घट जाता था। लेखकों ने कंट्रास्टिव लर्निंग के माध्यम से टेक्स्ट-ऑडियो संरेखण में सुधार और वर्तमान 10-सेकंड की अधिकतम सीमा से परे लंबे ऑडियो क्लिप का समर्थन करने के लिए मॉडल का विस्तार करने पर भविष्य के कार्य का सुझाव दिया।
घोषणा के समय, कोई आधिकारिक संस्करण संख्या निर्धारित नहीं की गई थी, और पेपर में मॉडल को केवल 'AudioLDM' के रूप में संदर्भित किया गया था। डेवलपर्स ने ओपन-सोर्स रिपॉजिटरी में फाइन-ट्यूनिंग स्क्रिप्ट और अतिरिक्त मूल्यांकन उपकरणों के साथ एक अद्यतन संस्करण जारी करने की योजना बनाई।