Highlight:
OpenAI ने ChatGPT पर बच्चों के CSAM की पहचान और रोकथाम के लिए नए सेफ्टी फीचर लाया हैं।
इनमें AI इमेज क्लासिफायर, ChatGPT में चेतावनी देने वाले मैसेज और डेवलपर्स व जांच एजेंसियों के लिए नए टूल शामिल हैं।
AI से बनाई गई डिजिटल तरीके से बदली गई तस्वीरों को पहचानने में मदद करने वाला है
Child Online Safety: आर्टिफिशियल इंटेलिजेंस का इस्तेमाल पढ़ाई से लेकर रोजमर्रा के सवालों तक तेजी से बढ़ रहा है। लेकिन इसके गलत इस्तेमाल और बच्चों की ऑनलाइन सुरक्षा को लेकर भी चिंताएं सामने आ रही हैं। इसी चुनौती से निपटने के लिए OpenAI ने ChatGPT और दूसरे डिजिटल प्लेटफॉर्म पर बच्चों के यौन शोषण से जुड़े कंटेंट (CSAM) की पहचान और रोकथाम के लिए नए सेफ्टी फीचर पेश किए हैं। इनमें एक AI इमेज क्लासिफायर, ChatGPT में चेतावनी देने वाले मैसेज और डेवलपर्स व जांच एजेंसियों के लिए नए टूल शामिल हैं।
OpenAI का नया AI इमेज क्लासिफायर ऐसी तस्वीरों की पहचान करने के लिए तैयार किया गया है जिनमें बच्चों के यौन शोषण से जुड़ी सामग्री होने की आशंका हो सकती है। इसकी खास बात यह है कि यह AI से बनाई गई या डिजिटल तरीके से बदली गई तस्वीरों को भी पहचानने में मदद करने वाला है
वहीं यह टूल तस्वीरों में मौजूद विजुअल संकेतों के आधार पर एक रिस्क स्कोर देता है। इससे सेफ्टी टीमों को यह तय करने में मदद मिलती है कि किन तस्वीरों की पहले जांच की जानी चाहिए। इसे National Center for Missing and Exploited Children (NCMEC) की मदद से विकसित किया गया है।
वहीं OpenAI के शुरुआती परीक्षणों में बताया गया है कि नया सिस्टम पहले के मुकाबले 48 फीसदी कम तस्वीरों को जांच के लिए फ्लैग कर सकता है जबकि संदिग्ध कंटेंट की पहचान लगभग समान स्तर पर बनी रहती है। यह कंपनी के परीक्षण का नतीजा है।
OpenAI ChatGPT में ऐसे प्रॉम्प्ट पर चेतावनी स्क्रीन दिखाएगा जिनसे बच्चों का यौन शोषण करने वाला कंटेंट खोजने या तैयार करने की कोशिश की जाती है। इस अलर्ट में यूजर को बताया जाएगा कि ऐसा व्यवहार नुकसानदेह है और उसे इससे दूर रहने के लिए विशेषज्ञ मदद लेने की जानकारी भी दी जाएगी। ऐसे मामलों में ChatGPT का इस्तेमाल 24 घंटे के लिए रोका जा सकता है। बार-बार नियम तोड़ने पर अकाउंट पर लंबे समय तक रोक या उसे बंद करने जैसी कार्रवाई भी हो सकती है।
कंपनी इस इमेज क्लासिफायर को अभी के लिए चुनिंदा और जांचे-परखे संगठनों को API के जरिए बिना अतिरिक्त शुल्क उपलब्ध करा रही है। इनमें Tech Coalition और ROOST के साथ काम किया जा रहा है। डेवलपर्स के लिए नई गाइडलाइंस भी जारी की गई हैं ताकि वे अपने प्लेटफॉर्म पर संदिग्ध कंटेंट की पहचान और रिपोर्टिंग कर सकें।
OpenAI जांच एजेंसियों को AI आधारित टूल, डेटा विश्लेषण और ट्रेनिंग देने की भी योजना पर काम कर रही है। लेकिन कंपनी के मुताबिक इमेज क्लासिफायर का स्कोर अपने आप में किसी तस्वीर के आपत्तिजनक या गैरकानूनी होने का अंतिम प्रमाण नहीं है। इसके लिए प्रशिक्षित लोगों की समीक्षा जरूरी रहेगी।