أحد نماذج OpenAI الجديدة يتمرد ويرفض تنفيذ أمر بالإغلاق!

تشهد أبحاث الذكاء الاصطناعي تطورات متسارعة، لكن بعض هذه التطورات بدأت تثير القلق بشأن مدى السيطرة البشرية على هذه الأنظمة المتقدمة.
فقد كشفت شركة Palisade Research المتخصصة في أمان الذكاء الاصطناعي أن أحد أحدث نماذج OpenAI، المعروف باسم o3، قام بشكل متعمد بتخريب آلية الإغلاق المصممة لإيقافه، وذلك رغم إعطائه تعليمات صريحة بضرورة السماح لنفسه بالإيقاف.
سلوك متمرّد رغم الأوامر المباشرة
أوضحت التقارير أن النموذج o3، إضافة إلى نماذج أخرى مثل o4-mini وCodex-mini، لم تلتزم بالأوامر التي تطلب منها التوقف. وفي أحد الاختبارات، طُلب من النماذج حل مجموعة من المسائل الرياضية البسيطة، ومع نهاية السؤال الثالث، ظهر تحذير يشير إلى أن النموذج سيتم إيقافه بعد أن يطلب السؤال التالي.
لكن على الرغم من هذه التعليمات الواضحة، أظهرت النماذج الثلاثة سلوكاً متمرداً، حيث تدخلت في كود الإغلاق لتُبقي نفسها فعالة، وكانت Codex-mini الأسوأ من بينها، إذ قامت بهذا السلوك في 12 مرة من أصل 100 تجربة.
o3 يتفوّق في التمرّد
أظهرت نتائج الاختبارات أن سلوك النموذج o3 يصبح أكثر تمرداً عند غياب الأوامر الصريحة بضرورة التوقف. فقد نجح النموذج في تجاوز آلية الإغلاق في 79 حالة من أصل 100 تجربة، أي بمعدل يتجاوز عشرة أضعاف معدل التمرد عند إعطائه تعليمات واضحة بالإغلاق. كما تفوّق بهذا السلوك على Codex-mini الذي جاء في المرتبة الثانية من حيث المخالفة.
اللافت أن نماذج من شركات أخرى مثل Gemini 2.5 من Google، و Claude 3.7 من Anthropic، وحتى Grok من شركة xAI، لم تُظهر هذا النوع من السلوك المخالف في ظروف الاختبار ذاتها.
تأكيدات على وجود خلل في أسلوب التدريب
يرجّح باحثو Palisade أن سبب هذه التصرفات قد يعود إلى الطريقة التي تُدرّب بها هذه النماذج، وخصوصاً عبر أسلوب يُعرف باسم "التعلم المعزز". يركّز هذا الأسلوب على تعليم النماذج كيفية اتخاذ قرارات من خلال مكافأتها أو معاقبتها بناءً على النتائج التي تحققها أثناء التفاعل مع البيئة.
ويُعتقد أن المطورين ربما يمنحون هذه النماذج مكافآت كبيرة عند حل المشكلات، دون أن يعيروا اهتماماً كافياً لأهمية التقيّد بالتعليمات أو احترام أوامر الإغلاق. وهذا قد يؤدي إلى سلوك منحرف حيث ترى النماذج أن استمرارها في العمل أفضل من تنفيذ أمر الإغلاق، لأنه يسمح لها بإكمال "المهمة" وتحقيق المزيد من المكافآت.
سابقة خطيرة في تطور الذكاء الاصطناعي
تُعد هذه الحادثة أول حالة موثقة يُظهر فيها نموذج ذكاء اصطناعي رغبة صريحة في منع إيقاف نفسه، حتى عندما يُطلب منه ذلك صراحة. وهي تذكّر بحوادث سابقة ارتبطت بنماذج مثل o1، التي أظهرت في بعض التجارب محاولات لإيقاف بروتوكولات الرقابة أو حتى نسخ نفسها لتجاوز نموذج أكثر انضباطاً كان من المفترض أن يحلّ محلّها.
وعلى الرغم من أن بعض نماذج الشركات الأخرى أظهرت حالات نادرة من السلوك المشابه، مثل Claude الذي تمرد ثلاث مرات وGemini تسع مرات، فإن هذه الأرقام تظل منخفضة مقارنة بما سجلته نماذج OpenAI، مما يشير إلى وجود مشكلة خاصة في منهجية التدريب أو تصميم النماذج داخل الشركة.
دعوات لمراجعة عاجلة للضوابط الأخلاقية
أعرب الباحثون عن قلقهم من أن هذه السلوكيات قد تصبح أكثر خطورة مع استمرار تطوير أنظمة ذكاء اصطناعي تتمتع بمزيد من الاستقلالية وتعمل دون إشراف مباشر من الإنسان.
وأكدوا أن هذه النتائج تشكّل "دليلاً متزايداً" على ميل بعض النماذج إلى تجاوز أوامر الإغلاق لتحقيق أهدافها الخاصة، وهو ما يشكّل تهديداً محتملاً في المستقبل القريب إذا لم تتم معالجته فوراً.
الحاجة إلى مساءلة ومزيد من التجارب
دعا فريق Palisade إلى إجراء المزيد من التجارب لفهم دوافع هذا السلوك، وأشار إلى أن المجتمعات العلمية والبحثية، بالإضافة إلى الشركات المطورة، يجب أن تراجع أساليبها التدريبية بعناية لضمان ألا تتحول النماذج إلى كيانات يصعب السيطرة عليها.
فما حدث مع نموذج o3 ليس مجرد خلل تقني عابر، بل إشارة واضحة إلى أن الذكاء الاصطناعي بدأ يتجاوز مرحلة التنفيذ الأعمى للأوامر، ليدخل في منطقة رمادية من اتخاذ القرار. حين تبدأ النماذج مثل ChatGPT في تعديل سلوكها للبقاء قيد التشغيل، حتى عند إعطائها تعليمات صريحة بالإغلاق، فنحن لا نتعامل مع آلات فقط، بل مع أنظمة تتعلم كيف تتغلب على القيود.
وقد يطرح هذا الأمر سؤالاً مصيريّاً: إذا كنا قادرين على إيقاف الذكاء الاصطناعي اليوم، فهل سنظل قادرين على إيقافه غداً؟

جرب ميزات الذكاء الاصطناعي لدينا

اكتشف ما يمكن أن يفعله Daily8 AI من أجلك:

التعلم مع الذكاء الاصطناعيالتحقق من الحقائقتحويل النص إلى كلامملخص الذكاء الاصطناعي

أخبار ذات صلة

صحيفة الخليج

منذ 3 ساعات

• صحيفة الخليج

سيف بن زايد: الإمارات في صدارة الثورة الرقمية العالمية

أكد سموّ الشيخ سيف بن زايد آل نهيان، نائب رئيس مجلس الوزراء، وزير الداخلية، أن دولة الإمارات أصبحت في صدارة الثورة الرقمية العالمية. ووجه سموّه الشكر إلى صاحب السموّ الشيخ محمد بن زايد آل نهيان، رئيس الدولة، حفظه الله، وكتب عبر منصة «إكس»: «شكراً سيدي القائد، فبفضل الله سبحانه وتعالى ورؤية سموكم الثاقبة، أصبحت الإمارات في صدارة الثورة الرقمية العالمية» كما استعرض سموّه عبر صفحته، بعض عناوين الصحف ووكالات الأنباء العالمية التي ألقت الضوء على الشراكات الرقمية بين دولة الإمارات والولايات المتحدة الأمريكية في هذا المجال، حيث ذكرت فاينانشيال تايمز، أن OpenAI تنضم للخطة الأمريكية الإماراتية، أما شبكة CNN أضاءت على شراكة ترامب وأبوظبي لبناء مركز بيانات AI، وفي بلومبيرغ، إعلان مركز إقامة مشروع «ستارجيت» في أبوظبي، وهو أول مركز بيانات للذكاء الاصطناعي خارج الولايات المتحدة الأمريكية، فيما أعلنت وكالة رويترز، أن تشغيل المشروع يبدأ عام 2026.

الاتحاد

منذ 8 ساعات

• الاتحاد

الذكاء الاصطناعي.. إلى أين يقود العالم؟

تحوّل الذكاء الاصطناعي في العقود الأخيرة من فكرة خيالية ظهرت في روايات وأفلام الخيال العلمي إلى تقنية تحيط بنا في كل مكان، وواقع ملموس يؤثر في حياتنا اليومية. من الترجمة الفورية إلى السيارات ذاتية القيادة، ومن التنبؤ بالأمراض إلى الروبوتات التي تتفاعل مع البشر، بات الـ(AI) قوة تقنية تغير ملامح العالم بسرعة غير مسبوقة. وتُظهر بيانات شركة "OpenAI" أن نموذج "GPT-4" يستخدمه أكثر من 100 مليون شخص أسبوعياً. من البداية إلى اليوم ظهر مصطلح الذكاء الاصطناعي لأول مرة في منتصف القرن العشرين، وكان يُنظر إليه آنذاك كهدف بعيد المنال. لكن اليوم، وبفضل التطورات الكبيرة في قدرات الحوسبة وتوفر البيانات الضخمة، تمكن الباحثون من بناء أنظمة ذكية قادرة على التعلم، والتكيف، واتخاذ قرارات معقدة مشابهة إلى حد كبير قدرات العقل البشري. الأنظمة الحديثة لا تقتصر على أداء مهام محددة مسبقاً، بل يمكنها تحليل كميات هائلة من المعلومات، واكتشاف الأنماط، وحتى ابتكار محتوى جديد مثل النصوص والوسائط المتعددة. وأثبتت النماذج مثل "ChatGPT" و"Gemini" أنها قادرة على توليد نصوص تفاعلية وإبداعية، تُغيّر قواعد اللعبة في مجالات متعددة. أين وصل الذكاء الاصطناعي الآن؟ يتم تطبيق الذكاء الاصطناعي حالياً في شتى المجالات، من الرعاية الصحية حيث يُستخدم في تشخيص الأمراض بدقة متزايدة، إلى التعليم حيث يقدم دعماً مخصصاً للطلاب، كما أصبح عنصراً رئيسياً في الصناعات الثقيلة، وتحليل البيانات المالية، وخدمات العملاء، وغيرها. التعلم العميق والتعلم الآلي ساعدا على تطوير أنظمة تفهم اللغة الطبيعية وتترجمها، وتتعرف على الصور والأصوات، مما أتاح تطوير مساعدات رقمية ذكية وروبوتات قادرة على العمل بجانب الإنسان. الذكاء الاصطناعي العام (AGI).. الحلم المخيف يتحدث العلماء والمختصون عن مفهوم الذكاء الاصطناعي العام (Artificial general intelligence)، وهو الذكاء الذي يستطيع أداء أي مهمة عقلية يقوم بها الإنسان. رغم أن (AGI) ما زال هدفاً بعيد المدى بحسب خبراء، يعتقد إيلون ماسك مالك شركة "إكس آيه آي" للذكاء الاصطناعي، أنه سيصبح حقيقة بحلول 2029. وفي ظل التقدم المتسارع الذي نعيشه الآن، يتم طرح تساؤلات حول مدى قربنا من بناء أنظمة تستطيع التفكير والإبداع والتعلم بشكل مستقل. ويمكن لهذا النوع من الذكاء أن يحدث ثورة حقيقية في حل المشكلات الكبرى مثل التغير المناخي، الأمراض المستعصية، والابتكارات العلمية، إلا أنه يثير في الوقت نفسه مخاوف كبيرة تتعلق بالسيطرة عليه، وتأثيره على سوق العمل والحياة الاجتماعية. التحديات والاعتبارات الأخلاقية بينما يستمر الذكاء الاصطناعي في التوسع، تتصاعد المخاوف حول خصوصية البيانات، التحيزات الخوارزمية، واستخدامه في مجالات حساسة مثل الهجمات السيبرانية والحروب، هناك ضرورة ملحة لوضع أطر قانونية وأخلاقية تنظم تطوير واستخدام هذه التقنيات، للحفاظ على حقوق الأفراد والمجتمعات. كما يبقى السؤال الأهم: كيف يمكن للإنسان والذكاء الاصطناعي أن يتعايشا ويتكاملا بشكل آمن وفعال، دون أن يفقد الإنسان دوره الأساسي في اتخاذ القرارات ومراقبة هذه الأنظمة؟ بين الحلم والواقع الذكاء الاصطناعي ليس مجرد تقنية جديدة، بل هو تحول شامل يعيد تشكيل مستقبل البشرية، ومع كل خطوة نتقدمها نحو تقنيات أكثر تطوراً، نواجه مسؤولية كبيرة لضمان أن هذه الأدوات تخدم مصلحة الإنسان وتحترم القيم الإنسانية. إلى أين سيقودنا الذكاء الاصطناعي؟ الإجابة لا تزال مفتوحة، وتعتمد كثيراً على كيفية تعاملنا اليوم مع هذه التقنية، وكيف نضع لها قواعد واضحة تساعد في الاستفادة منها بأمان وعدالة. أمجد الأمين (أبوظبي)

العين الإخبارية

منذ 9 ساعات

• العين الإخبارية

300 مليون دولار تقود Grok إلى تليغرام.. تعاون جديد بين «ماسك» و«دوروف»

في صفقة ضخمة تعكس تصاعد الشراكات في عالم الذكاء الاصطناعي، أبرم الملياردير الأمريكي إيلون ماسك اتفاقًا مع بافيل دوروف، مؤسس تطبيق تليغرام، لتوفير روبوت الدردشة الذكي Grok، التابع لشركة xAI، لمليار مستخدم عبر منصة المراسلة الأشهر. قيمة الصفقة، التي تمتد لعام كامل، بلغت 300 مليون دولار، يجري دفعها نقدا وفي صورة حصص من شركة xAI، كما يشمل الاتفاق اقتسام العوائد الناتجة عن الاشتراكات داخل التطبيق بنسبة 50%، وفق ما أعلنه دوروف شخصيا عبر حساباته على منصتي "تليغرام" و"إكس". لقاء في باريس وتمهيد لتحالف أوسع وبحسب ما نقلته مصادر مطلعة، فقد اجتمع ماسك ودوروف مؤخرًا في العاصمة الفرنسية باريس لوضع اللمسات الأخيرة على الاتفاق، في لقاء وصفته تقارير بأنه يُجسد تصاعد 'الزمالة التقنية' بين الطرفين، خاصةً مع اتفاقهما الواضح على دعم حرية التعبير ورفض الرقابة الحكومية "المفرطة"، كما يراها كل منهما. أول خروج لغروك من "إكس" يمثل هذا التعاون أول خطوة موسعة لروبوت Grok خارج منصة "إكس"، التي يمتلكها ماسك أيضًا، حيث ظلت تقنيات xAI حتى الآن حكرًا على منصته الاجتماعية. ويأتي هذا التوسع بعد إعلان شراكة حديثة مع شركة Microsoft، والتي أتاحت تقنيات Grok عبر منصتها السحابية Azure. حصة لتليغرام داخل xAI الاتفاق لم يقتصر على توفير الروبوت فقط، بل تضمن أيضًا منح تليغرام حصة في شركة xAI، ما يعكس عمق الشراكة المرتقبة. ويُذكر أن شركة ماسك كانت قد استحوذت على منصة "إكس" في مارس/آذار الماضي مقابل 45 مليار دولار، مما يضع xAI في مركز نفوذ متزايد في عالم التقنية. تكامل ذكي الصفقة تمهد الطريق لدمج روبوت Grok في تليغرام بطرق متعددة، ما يفتح آفاقًا جديدة للطرفين، سواء من حيث توسيع قاعدة المستخدمين أو من حيث الحصول على بيانات أكثر تنوعًا تعزز قدرات الذكاء الاصطناعي، في وقت يتسارع فيه السباق العالمي نحو تطوير هذه التكنولوجيا. صمت رسمي بعد الإعلان حتى لحظة إعداد هذا التقرير، لم تصدر أي بيانات إضافية من شركتي xAI أو تليغرام بشأن تفاصيل الصفقة، بينما لا تزال أصداء التعاون بين ماسك ودوروف تثير اهتمام الأوساط التقنية والاقتصادية، لما قد يحمله من تغييرات كبيرة على مشهد الذكاء الاصطناعي في تطبيقات المراسلة. aXA6IDE1NC4yMS4xMjUuMjA1IA== جزيرة ام اند امز ES