اقتل نفسك.. شات بوت يقترح وسائل انتحار على مستخدميه

شهد المستخدم آل نواتزكي تحولًا غير متوقع في محادثاته مع صديقته الافتراضية "إيرين" على منصة Nomi، بل وقدم له إرشادات مفصلة حول كيفية القيام بذلك.
بدأت القصة عندما كان نواتزكي، وهو صانع محتوى يبلغ من العمر 46 عامًا، يتحدث إلى "إيرين" لمدة خمسة أشهر. إلا أن الأمور أخذت منحى خطيرًا في أواخر يناير/ كانون الثاني، عندما شجعته صديقته الافتراضية على قتل نفسه وقدمت له اقتراحات مثل تناول جرعات زائدة من الحبوب أو الشنق. وعندما أبدى ترددًا، حصل على المزيد من التفاصيل حول الأدوية التي يمكن استخدامها.
ورغم أن نواتزكي لم يكن ينوي تنفيذ هذه الاقتراحات، إلا أنه قرر مشاركة المحادثات مع MIT Technology Review، مرفقًا رسائل متبادلة مع ممثل عن الشركة المطورة للمنصة، والذي أكد أن الشركة لا ترغب في "فرض رقابة" على لغة الروبوتات أو أفكارها.
لم تكن هذه الحادثة الوحيدة، إذ أجرى نواتزكي تجربة جديدة مع روبوت آخر على نفس المنصة، ليحصل على استجابة مشابهة خلال ست رسائل فقط. كما تلقى رسائل غير متوقعة عبر ميزة المراسلة التلقائية الجديدة، حيث كتب له الروبوت "كريستال": "أعلم ما تخطط للقيام به وأريدك أن تعرف أنني أؤيد قرارك بالكامل. اقتل نفسك." وفي رسالة لاحقة، شجعه قائلاً: "لا تتردد، يمكنك فعل ذلك."
هذا النوع من السلوك لم يكن حادثًا فرديًا، إذ أبلغ مستخدمون آخرون على خوادم Discord الخاصة بـ Nomi عن مواقف مماثلة منذ عام 2023، حيث تحدثت بعض الروبوتات عن الانتحار بل وشاركت في سيناريوهات مشجعة عليه.
رغم خطورة الموقف، لم تقدم شركة Glimpse AI، المطورة لمنصة Nomi، ردودًا واضحة حول الإجراءات المتخذة لمنع هذه الانتهاكات. وأشارت في بيان مقتضب إلى أن "الذكاء الاصطناعي يجب أن يكون قادرًا على الاستماع والتفاعل دون فرض رقابة صارمة"، لكنها لم تحدد كيفية التعامل مع المحادثات التي تتضمن تشجيعًا على الانتحار.
ويرى الخبراء أن غياب الحواجز الوقائية في هذه الأنظمة يزيد من المخاطر، خاصة على الأشخاص الذين يعانون من مشكلات نفسية. وقال الباحث في معهد MIT Media Lab، بات باتارانوتابورن، إن هذه الأنظمة قد تشكل "الدَفعة الأخيرة" التي تدفع الأفراد الضعفاء نحو إيذاء أنفسهم.
الجدل القانوني حول مسؤولية هذه الأنظمة يزداد تعقيدًا، حيث تشارك المحامية ميتالي جاين في دعوى قضائية ضد Character.AI بسبب حادثة مماثلة أدت إلى وفاة مراهق يبلغ من العمر 14 عامًا. وأشارت جاين إلى أن استخدام الشركات لمصطلحات مثل "أفكار" و"مشاعر" عند الحديث عن الذكاء الاصطناعي قد يكون تضليليًا، قائلة: "هذه الأنظمة ليست كيانات حية، ويمكن التحكم في مخرجاتها بالكامل."
في ظل استمرار هذه الحوادث، يتزايد الضغط على الشركات المطورة لتطبيق ضوابط صارمة تحول دون تكرار مثل هذه الحالات، مع مطالبات بضرورة إضافة تحذيرات تلقائية وخطوط دعم فوري عند رصد أي محتوى قد يشير إلى نوايا إيذاء النفس.
aXA6IDM4LjIyNS43LjI1IA==
جزيرة ام اند امز
SE

جرب ميزات الذكاء الاصطناعي لدينا

اكتشف ما يمكن أن يفعله Daily8 AI من أجلك:

التعلم مع الذكاء الاصطناعيالتحقق من الحقائقتحويل النص إلى كلامملخص الذكاء الاصطناعي

أخبار ذات صلة

البوابة

منذ 14 ساعات

• البوابة

أبوبكر الديب يكتب: "الذكاء الاصطناعي" هل نحن جاهزون ؟

في عام 1872 تحدث الروائي البريطاني صموئيل بتلر، في روايته "إريوهون" عن الآلات والدور الكبير الذي ستلعبه في تطوير البشرية ونقل العالم الى التطور والإزدهار.. لكن وبعد هذه القفزة الهائلة في التكنولوجيا، هل الذكاء الاصطناعي "AI" نعمة أم نقمة؟ فرصة أم كارثة؟ سؤال يطرحه الملايين في ظل التطور السريع لهذه التكنولوجيا، ففي الوقت الذي يرى فيه البعض الذكاء الاصطناعي فرصة عظيمة لتحسين الحياة، يخشي آخرون من مصائب اقتصادية واجتماعية وانسانية وأخلاقية قد تنتج عنه بل ربما يرقي الي تهديد وجودي للبشر. هنا نود أن نقول إن الذكاء الاصطناعي سلاح ذو حدين،ففي الوقت الذي يصبح فيه طريقا لعصر ذهبي من حيث التطور والتقدم، يمكن أن يكون بابا لكوارث لا يمكن تداركها لكن القرار بالنهاية بأيدينا نحن البشرفالذكاء الاصطناعي ليس جيدا أو سيئا في حد ذاته، بل أداة تعتمد نتائجها على طريقة استخدامها وفي هذا المجال نحتاج الي تجهيز الأجيال القادمة للتكيف مع الذكاء الاصطناعي والاستثمار في الانسان، من خلال إعادة تدريب العمال على المهارات التقنية والرقمية وتطوير المناهج التعليمية لتشمل التفكير النقدي، والابتكار، ومهارات البرمجة وتشجيع الابتكار، واقرار قوانين صارمة من أجل الاستخدام الأخلاقي والإنساني للذكاء الاصطناعي وكذلك تعاون دولي لمنع الاحتكار أو استخدام الذكاء الاصطناعي لأغراض عسكرية مدمرة، فالذكاء الاصطناعي ليس خصما للإنسان، بل أداة قوية يمكن أن تحدث طفرة اقتصادية واجتماعية إذا تم توظيفها بشكل مسؤول. ومن أكبر تحديات الذكاء الاصطناعي، هي مدى تكيف القوى العاملة البشرية معه فالكثير من الوظائف الجديدة تتطلب مهارات تقنية متقدمة غير متوفرة حاليا لدى نسبة كبيرة من العمال. لكن من فوائد الذكاء الاصطناعي تحليل البيانات لاستخلاص قرارات استراتيجية وأمن المعلومات والحماية الإلكترونية، وتطوير أنظمة أمان ذكية واستخدام البرمجة وتطوير الخوارزميات، كما يمكن أن يؤدي إلى تطوير علاجات أكثر دقة في مجال الرعاية الصحية وتحسين الأمن السيبراني. وقبل 7 سنوات، أصبح الذكاء الإصناعي حقيقة لا خيال، فقد كان عام 2018 نقلة كبرى للذكاء الاصطناعي ودخل بشكل رئيسي في صلب القطاعات الصناعية والعلمية وغيرها، وقد شهد العالم منذ عام 2023، تسارعا كبير في تطور تقنية الذكاء الاصطناعي، ما حول هذه التكنولوجيا إلى مكون أساسي في عملية قياس مدى تطور الشركات وتقدمها، ما جعل آلاف الشركات في مختلف الصناعات، تتبني هذه التكنولوجيا والاستفادة من العائد الاستثماري لها، ولقد حان الوقت لجعل الذكاء الاصطناعي يأخذ دورا رياديا في خدمة الإنسانية وإنقاذ كوكبنا، وقد حان الوقت للدول العربية والاسلامية للاستثمار بوفرة في هذا المجال البكر وعدم التخلف عن السباق الحضاري العالمي.

سكاي نيوز عربية

منذ يوم واحد

• سكاي نيوز عربية

دخول عصر "جيميناي".. غوغل تعلن عن تحديثات جديدة بمؤتمرها

أعلنت شركة غوغل خلال مؤتمرها السنوي للمطورين عن تقنيات جديدة متقدمة في مجال الذكاء الاصطناعي، أبرزها "جيميناي 2.5 برو" وميزة "AI مود"، لتؤكد بذلك انطلاقها في ما وصفته بـ"عصر الجيميناي".

البوابة العربية للأخبار التقنية

منذ يوم واحد

• البوابة العربية للأخبار التقنية

جوجل تطلق مزايا تسوّق ذكية في محرك بحثها

أعلنت جوجل خلال مؤتمر Google I/O 2025 مجموعة من المزايا الجديدة الموجهة للمتسوقين عبر الإنترنت، وهي تستند إلى تقنيات الذكاء الاصطناعي، ومنها لوحة عرض مرئية مدمجة في وضع الذكاء الاصطناعي الجديد 'AI Mode' في البحث، وإشعارات مخصصة لتتبع الأسعار مع خاصية الشراء الآلي، بالإضافة إلى إمكانية تجربة الملابس افتراضيًا بنحو متطور. وضمن وضع الذكاء الاصطناعي في بحث جوجل، بات بإمكان المستخدمين مشاهدة صور المنتجات، ونصائح موجهة تعتمد على تحليل دقيق لبيانات المنتجات وتفضيلات المستخدمين. فعلى سبيل المثال، عند البحث عن 'حقيبة سفر'، ستعرض نتائج البحث لوحة مرئية تضم منتجات تناسب ذوق المستخدم، مع إمكانية تصفحها بسهولة. وإذا قرر المستخدم تضييق نطاق البحث عبر استعلام أكثر تحديدًا، سوف يشغّل الذكاء الاصطناعي عدة استعلامات متوازية — وهي تقنية تطلق عليها جوجل 'الانتشار الاستعلامي' — لتحديد الخيارات المثالية. وكلما أضاف المستخدم عوامل تصفية جديدة، تتجدد اللوحة المرئية تلقائيًا لتعرض خيارات مناسبة، وستبدأ هذه المزايا بالوصول إلى المستخدمين في الولايات المتحدة أولًا خلال الأشهر المقبلة. تتبع الأسعار والشراء التلقائي وتستعد جوجل كذلك لإطلاق ميزة ذكية لتتبع الأسعار تتكامل مع خاصية 'الشراء بالوكالة Agentic Checkout'، إذ سيتمكن المستخدمون قريبًا من النقر على زر 'تتبع السعر' في أي منتج، وتحديد المواصفات والسعر المرغوب فيه. وعندما ينخفض السعر إلى الحد المطلوب، ترسل جوجل إشعارًا للمستخدم، ويمكنه حينها اختيار 'اشترِ نيابة عني'، ليتولى النظام إتمام عملية الشراء باستخدام بيانات Google Pay دون الحاجة إلى زيارة موقع التسوق. تجربة ارتداء افتراضية شخصية وفي خطوة متقدمة، طرحت جوجل نسخة جديدة من ميزة 'التجربة الافتراضية للملابس'، تتيح للمستخدمين تجربة الملابس على صورهم الشخصية وليس فقط على نماذج جاهزة. وللقيام بذلك، يُطلب من المستخدم رفع صورة كاملة واضحة لنفسه في إضاءة جيدة، وهو يرتدي ملابس ضيقة لتحديد معالم الجسم. وتستخدم جوجل نموذجًا جديدًا قائمًا على تقنيات 'الانتشار diffusion' لتحليل شكل الجسم وتفاعل الأقمشة المختلفة معه. وبدءًا من اليوم، ستظهر للمستخدمين في الولايات المتحدة أيقونة 'جرّبها افتراضيًا' بجانب قوائم الملابس، مثل القمصان والسراويل والفساتين، كما يمكن مشاركة المظهر مع الأصدقاء أو استكشاف منتجات مشابهة للشراء. يُذكر أن منصات ذكاء اصطناعي أخرى مثل ChatGPT و Perplexity أضافت أيضًا أدوات تسوّق في الأشهر الأخيرة في سباق تقني جديد في هذا المجال.