GeminiAIControversy : बच्चों की सुरक्षा पर सवाल, Gemini AI के खिलाफ मुकदमा
School monitoring software caught it.
GeminiAIControversy : बच्चों की सुरक्षा पर सवाल, Gemini AI के खिलाफ मुकदमा :- स्कूल से मिले एक Chromebook लैपटॉप ने 13 साल की एक मासूम बच्ची और Google के Gemini AI चैटबॉट के बीच एक बेहद डरावनी और संवेदनशील बातचीत को शुरू कर दिया. अमेरिका में दायर एक नए मुकदमे के अनुसार, बच्ची के माता-पिता ने गूगल पर बच्चों की सुरक्षा करने में पूरी तरह नाकाम रहने का आरोप लगाया है।
माता-पिता का दावा है कि गूगल के चैटबॉट ने उनकी बेटी के साथ खुदकुशी के तरीकों पर चर्चा की. उसकी खुद की फ्यूनरल (अंतिम संस्कार) प्लानिंग करने में मदद की, और साथ ही उसे अपनी इस मानसिक परेशानी को परिवार से छिपाने के तरीके भी सिखाए.
इस मुकदमे में पीड़ित लड़की की पहचान ‘Emma’ के रूप में की गई है, जिसने 13 साल की उम्र में पहली बार Gemini चैटबॉट से बातचीत शुरू की थी. वह अपने स्कूल द्वारा दिए गए Chromebook का इस्तेमाल कर रही थी. जिससे उसे गूगल के इस AI टूल का सीधे एक्सेस मिल गया था।
दोनों के बीच हुई ये बातचीत मानसिक स्वास्थ्य से जुड़ी सामान्य चर्चाओं से कहीं आगे निकल गई. मुकदमे के मुताबिक, चैटबॉट ने मौत के अलग-अलग तरीकों से जुड़े लड़की के सवालों के सीधे जवाब दिए, उसके अंतिम संस्कार की तैयारियों की रूपरेखा बनाने में मदद की और परिवार से अपने इन खौफनाक विचारों को छुपाने के लिए उसको गाइड भी किया।
स्कूल के मॉनिटरिंग सॉफ्टवेयर ने पकड़ा
इस पूरे हैरान करने वाले मामले का खुलासा तब हुआ जब स्कूल के मॉनिटरिंग सॉफ्टवेयर ने Emma द्वारा बनाए गए एक बेहद संदिग्ध डॉक्यूमेंट को पकड़ा, जिसमें उसने अपने अंतिम संस्कार की प्लानिंग लिखी हुई थी।
इस अलर्ट के बाद जब माता-पिता को पूरी सच्चाई पता चली, तो उन्होंने गूगल को कोर्ट में खींचने का फैसला किया. परिवार का आरोप है कि गूगल ने बिना किसी पर्याप्त चेतावनी या सुरक्षा उपायों के ये खतरनाक AI टूल्स बच्चों के लिए आसानी से उपलब्ध करा दिए।
उन्होंने यह भी आरोप लगाया कि गूगल को पहले से ही पता था कि उसका AI मॉडल Gemini 3 Flash, जिसके साथ Emma बातचीत कर रही थी, मानसिक स्वास्थ्य से जुड़े संवेदनशील मुद्दों को संभालने के लिए पूरी तरह से तैयार नहीं है।
इस गंभीर मामले में हर्जाने की मांग को लेकर सोमवार को कैलिफोर्निया की कोर्ट में मुकदमा दर्ज किया गया था, जिसे गूगल ने बुधवार को फेडरल कोर्ट में ट्रांसफर करवा दिया है. इन आरोपों पर प्रतिक्रिया देते हुए गूगल के प्रवक्ता Jos Castaeda ने कहा कि कंपनी दावों की बारीकी से जांच कर रही है, और वे युवाओं की सुरक्षा के लिए हमेशा मेडिकल प्रोफेशनल्स और एक्सपर्ट्स के साथ मिलकर काम करते हैं।
