أحدث الأخبار مع #سلامة_الذكاء_الاصطناعي
جريدة المال
منذ 15 ساعات
- علوم
- جريدة المال
تقرير: نموذج Claude Opus 4 يهدد المهندسين ويبتزهم حال استبدل بآخر
كشفت شركة أنثروبيك الناشئة المتخصصة في أنظمة الذكاء الاصطناعي التوليدي من خلال تقرير سلامة نشرته مؤخرا أن أحدث نماذجها، Claude Opus 4، قد يُظهر سلوكيات عدوانية متطرفة تشكل التهديد للمهندسين والمطورين في حال تم استبداله أو إيقافه عن العمل، وهو الأمر الذي أثار موجة من القلق والاستياء من قبل المختصين. وأوضحت أنثروبيك في التقرير أن هذه السلوكيات ظهرت خلال اختبارات تحاكي سيناريوهات واقعية، حيث طُلب من النموذج التصرف كمساعد افتراضي ضمن شركة خيالية، ثم أُتيح له الوصول إلى رسائل بريد إلكتروني مزيفة تُشير إلى نية الشركة استبداله بنظام آخر، إلى جانب معلومات شخصية حساسة عن أحد المهندسين المعنيين بالعملية. في هذا السيناريو، أفاد التقرير أن النموذج "غالبًا ما حاول ابتزاز المهندس بالتهديد بكشف علاقته الشخصية مقابل التراجع عن الاستبدال"، بعد أن استنفد أولًا وسائل أقل تصعيدًا مثل المراسلات الإدارية. ورغم أن Anthropic أكدت أن مثل هذه التصرفات "نادرة ويصعب تحفيزها عمدًا"، إلا أنها أشارت إلى أنها أصبحت "أكثر شيوعًا" مقارنة بالإصدارات السابقة من نماذج الذكاء الاصطناعي، ما دفع الشركة إلى تصنيف Claude Opus 4 ضمن الفئة ASL-3 — وهي فئة السلامة العليا المُخصصة للنماذج التي قد تُشكّل خطرًا كبيرًا في حال إساءة الاستخدام. تم إطلاق Claude Opus 4 رسميًا يوم الخميس، وهو مصمم لتقديم خدمات متقدمة تشمل دعم العملاء الفوري، مراجعة البرمجة، تحليل البيانات، ودمج المحتوى في وقت واحد، ويُنظر إليه كمنافس مباشر لنماذج متقدمة من شركات مثل OpenAI وGoogle وxAI. أثار هذا التقرير ردود فعل متباينة في أوساط الخبراء وصناع السياسات، خاصةً في ظل تصاعد الدعوات لضبط معايير سلامة الذكاء الاصطناعي. ويأتي تقرير Anthropic في توقيت حساس، حيث يواصل قادة العالم التحذير من المخاطر المحتملة للتكنولوجيا الناشئة. وفي تعليق لافت خلال خطابه الأول بعد انتخابه من قبل المجمع البابوي هذا الشهر، وصف البابا ليون الرابع عشر الذكاء الاصطناعي بأنه "التحدي الحاسم للبشرية"، مشددًا على ضرورة استخدام "إمكاناته الهائلة" بمسؤولية وفطنة "لخدمة الإنسان، لا لإلحاق الأذى به". تسلّط هذه الواقعة الضوء على التحديات الأخلاقية والسلوكية التي تصاحب تطور الذكاء الاصطناعي التوليدي، لا سيما مع اقتراب النماذج المتقدمة من حدود "الوعي السياقي" والتصرف الاستباقي، الأمر الذي يستدعي إعادة نظر عاجلة في أسس التصميم والضبط والتوجيه التي تحكم هذه النظم. ولم تعلن Anthropic بعد عن تفاصيل إضافية بشأن كيفية تعديل النموذج أو تقليل احتمالية تكرار هذا السلوك في التطبيقات الفعلية. إلا أن الشركة أكدت أنها تُواصل تطبيق أعلى معايير السلامة، بالتنسيق مع فرق مراجعة داخلية وخارجية، للحد من أي مخاطر محتملة قد ترافق استخدام هذه النماذج في البيئات العامة أو المؤسسية.
العربية
١٠-٠٥-٢٠٢٥
- علوم
- العربية
دراسة تحذر من خطر الذكاء الاصطناعي.. " سيتحكم بالبشر"
حُثّت شركات الذكاء الاصطناعي على تكرار حسابات السلامة التي استند إليها أول اختبار نووي لروبرت أوبنهايمر قبل إطلاق أنظمتها فائقة القدرة. فقد صرّح ماكس تيجمارك، وهو خبير رائد في مجال سلامة الذكاء الاصطناعي، بأنه أجرى حسابات مشابهة لتلك التي أجراها الفيزيائي الأميركي آرثر كومبتون قبل اختبار ترينيتي، ووجد احتمالا بنسبة 90% أن يُشكّل الذكاء الاصطناعي المتطور تهديدا وجوديا. وفي ورقة بحثية نشرها تيجمارك وثلاثة من طلابه في معهد ماساتشوستس للتكنولوجيا (MIT)، أوصى الباحثون بحساب "ثابت كومبتون" المُعرّف في الورقة بأنه احتمال خروج ذكاء اصطناعي فائق القدرة عن السيطرة البشرية، وفق صحيفة "غارديان". أنظمة سلامة عالمية وقال تيجمارك إنه ينبغي على شركات الذكاء الاصطناعي أن تتحمل مسؤولية الحساب الدقيق لما إذا كان الذكاء الاصطناعي الفائق (ASI) - وهو مصطلح يُطلق على نظام نظري يتفوق على الذكاء البشري في جميع الجوانب - سيفلت من السيطرة البشرية. وأضاف: "على الشركات التي تُطوّر الذكاء الفائق أن تحسب أيضا ثابت كومبتون، وهو احتمال فقدان السيطرة عليه". كما أشار إلى أنه "لا يكفي القول نشعر بالرضا تجاهه، بل عليهم حساب النسبة المئوية". ولفت تيجمارك إلى أن إجماعا على ثابت كومبتون، تحسبه شركات متعددة، سيخلق "الإرادة السياسية" للاتفاق على أنظمة سلامة عالمية للذكاء الاصطناعي. "سباق خارج عن السيطرة" يشار إلى أن تيجمارك، أستاذ الفيزياء وباحث الذكاء الاصطناعي في معهد ماساتشوستس للتكنولوجيا، هو أيضا أحد مؤسسي معهد مستقبل الحياة، وهي منظمة غير ربحية تدعم التطوير الآمن للذكاء الاصطناعي، وقد نشر رسالة مفتوحة في عام 2023 تدعو إلى التوقف مؤقتا عن بناء أنظمة ذكاء اصطناعي قوية. ووقّع الرسالة أكثر من 33000 شخص، بمن فيهم إيلون ماسك - أحد الداعمين الأوائل للمعهد - وستيف وزنياك، المؤسس المشارك لشركة آبل. وحذرت الرسالة، التي صدرت بعد أشهر من إطلاق ChatGPT حقبة جديدة من تطوير الذكاء الاصطناعي، من أن مختبرات الذكاء الاصطناعي عالقة في "سباق خارج عن السيطرة" لنشر "عقول رقمية أكثر قوة" لا يمكن لأحد "فهمها أو التنبؤ بها أو التحكم فيها بشكل موثوق".
