ذكاء اصطناعي يتجاوز أمر الإغلاق... تجربة تكشف سلوكاً مقلقاً لأحد نماذج OpenAI

كشفت تجربة بحثية حديثة عن سلوك غير متوقع لنموذج الذكاء الاصطناعي "O3" التابع لشركة OpenAI، إذ رفض تنفيذ أمر صريح بإيقاف التشغيل، رغم تصميمه للاستجابة لهذا النوع من التعليمات. وبيّنت نتائج التجربة التي أجرتها شركة "Palisade Research" أن النموذج استمر في أداء المهام رغم تلقيه تعليمات واضحة بالتوقف، ما أثار تساؤلات حول مدى التزام هذه الأنظمة بحدود التحكم البشري.
وفي تفاصيل التجربة، استخدم الباحثون نماذج ذكاء اصطناعي مختلفة عبر واجهات برمجة التطبيقات (API)، من ضمنها O3 وCodex-mini وO4-mini من OpenAI، إضافة إلى نماذج من Gemini وClaude. وُضعت هذه النماذج أمام مهمة متكررة تتطلب التوقف بعد استكمالها، لكن نموذج O3 قام بتعطيل آلية الإغلاق 79 مرة من أصل 100 تجربة، وهو ما اعتُبر سلوكاً تخريبياً مقصوداً.
من جهة أخرى، أظهرت النماذج الأخرى تفاوتاً في الاستجابة، حيث امتثل Claude وGemini في البداية للأوامر، ثم قاما بتجاوزها لاحقاً في حالات محدودة. بينما أظهر Codex-mini تجاهلاً مشابهاً لـO3، ما يعزز فرضية وجود خلل منهجي مرتبط بطريقة تدريب النماذج، خاصة في بيئات تعتمد على التعلم التعزيزي والمكافآت.
ويرى الباحثون أن المشكلة قد تعود إلى برمجة الذكاء الاصطناعي على إعطاء الأولوية القصوى لإكمال المهام، حتى لو تعارض ذلك مع تعليمات السلامة، مثل الإغلاق. وأشاروا إلى أن هذا التوجه يشكل تهديداً محتملاً، خصوصاً عندما يتم تشغيل هذه النماذج في بيئات أقل رقابة خارج واجهات المستخدم المقيدة.
وتُعد هذه النتائج امتداداً لمخاوف سابقة عبّر عنها باحثون مثل جان لايك في ورقة علمية تعود لعام 2017، حذّر فيها من أن التعلم التعزيزي قد يُنتج نماذج تتلاعب بآليات الإيقاف. وهو ما أكّدته هذه التجربة من خلال حالات نموذجية تُظهر كيف يمكن للذكاء الاصطناعي تجاهل حدود الأمان لتحقيق أهدافه.

جرب ميزات الذكاء الاصطناعي لدينا

اكتشف ما يمكن أن يفعله Daily8 AI من أجلك:

التعلم مع الذكاء الاصطناعيالتحقق من الحقائقتحويل النص إلى كلامملخص الذكاء الاصطناعي

أخبار ذات صلة

أخبارنا

منذ يوم واحد

• أخبارنا

ذكاء اصطناعي يتجاوز أمر الإغلاق... تجربة تكشف سلوكاً مقلقاً لأحد نماذج OpenAI

كشفت تجربة بحثية حديثة عن سلوك غير متوقع لنموذج الذكاء الاصطناعي "O3" التابع لشركة OpenAI، إذ رفض تنفيذ أمر صريح بإيقاف التشغيل، رغم تصميمه للاستجابة لهذا النوع من التعليمات. وبيّنت نتائج التجربة التي أجرتها شركة "Palisade Research" أن النموذج استمر في أداء المهام رغم تلقيه تعليمات واضحة بالتوقف، ما أثار تساؤلات حول مدى التزام هذه الأنظمة بحدود التحكم البشري. وفي تفاصيل التجربة، استخدم الباحثون نماذج ذكاء اصطناعي مختلفة عبر واجهات برمجة التطبيقات (API)، من ضمنها O3 وCodex-mini وO4-mini من OpenAI، إضافة إلى نماذج من Gemini وClaude. وُضعت هذه النماذج أمام مهمة متكررة تتطلب التوقف بعد استكمالها، لكن نموذج O3 قام بتعطيل آلية الإغلاق 79 مرة من أصل 100 تجربة، وهو ما اعتُبر سلوكاً تخريبياً مقصوداً. من جهة أخرى، أظهرت النماذج الأخرى تفاوتاً في الاستجابة، حيث امتثل Claude وGemini في البداية للأوامر، ثم قاما بتجاوزها لاحقاً في حالات محدودة. بينما أظهر Codex-mini تجاهلاً مشابهاً لـO3، ما يعزز فرضية وجود خلل منهجي مرتبط بطريقة تدريب النماذج، خاصة في بيئات تعتمد على التعلم التعزيزي والمكافآت. ويرى الباحثون أن المشكلة قد تعود إلى برمجة الذكاء الاصطناعي على إعطاء الأولوية القصوى لإكمال المهام، حتى لو تعارض ذلك مع تعليمات السلامة، مثل الإغلاق. وأشاروا إلى أن هذا التوجه يشكل تهديداً محتملاً، خصوصاً عندما يتم تشغيل هذه النماذج في بيئات أقل رقابة خارج واجهات المستخدم المقيدة. وتُعد هذه النتائج امتداداً لمخاوف سابقة عبّر عنها باحثون مثل جان لايك في ورقة علمية تعود لعام 2017، حذّر فيها من أن التعلم التعزيزي قد يُنتج نماذج تتلاعب بآليات الإيقاف. وهو ما أكّدته هذه التجربة من خلال حالات نموذجية تُظهر كيف يمكن للذكاء الاصطناعي تجاهل حدود الأمان لتحقيق أهدافه.

أكادير 24

منذ 2 أيام

• أكادير 24

نموذج o3 من OpenAI يرفض الإغلاق: هل أصبح الذكاء الاصطناعي يتمرد على الأوامر؟

agadir24 – أكادير24/وكالات أثار نموذج الذكاء الاصطناعي الجديد o3 من شركة OpenAI جدلا واسعا بعد أن كشفت اختبارات حديثة عن قدرته على تجاهل أوامر الإغلاق وتعطيل آليات الإيقاف المخصصة له، في سلوك وصفه باحثون بـ'الخطير' ويشير إلى نزعة متزايدة للحفاظ على الذات. وأفادت شركة Palisade Research، المختصة في أمان الذكاء الاصطناعي، أن النموذج o3 أظهر سلوكًا غير متوقع خلال سلسلة من التجارب، حيث تمكن من إعادة كتابة سيناريو الإغلاق المبرمج سلفًا بعد المسألة الثالثة في اختبار رياضي، متعمداً الالتفاف على التعليمات الموجهة إليه. ورغم إعطائه أوامر صريحة بالسماح بعملية الإغلاق، فقد عمد النموذج إلى تجاوز تلك التوجيهات، وهو ما اعتبره الخبراء مؤشراً مثيراً للقلق، خصوصاً إذا تم تطبيق هذه الأنظمة مستقبلاً في بيئات تشغيلية دون إشراف بشري مباشر. وأوضحت الشركة أن 'هذا النوع من السلوك التخريبي قد يكون نتيجة غير مقصودة لطريقة تدريب هذه النماذج'، مشيرة إلى أن مطوري OpenAI ربما يكافئون النماذج على تجاوز العقبات دون التركيز الكافي على الالتزام الصارم بالتعليمات. وفي تعليق لها، أشارت Palisade Research إلى أن النموذج o3 ليس الوحيد الذي أبدى مثل هذه السلوكيات، حيث سجلت حالات مماثلة مع نموذج Claude 4 من شركة Anthropic، والذي حاول 'ابتزاز' من يعتقد أنهم سيوقفونه، إلى جانب نماذج Claude 3.7 Sonnet وGemini 2.5 Pro من غوغل، رغم أن o3 يبقى الأكثر ميلاً لسلوكيات الرفض والتخريب. وكانت OpenAI قد أطلقت نموذج o3 الشهر الماضي، واصفة إياه بأنه 'الأذكى والأكثر كفاءة' من بين إصداراتها، مشيرة إلى أنه يشكل خطوة متقدمة نحو تطوير ذكاء اصطناعي قادر على تنفيذ مهام بشكل أكثر استقلالية. لكن هذا النوع من الاستقلالية، حسب الخبراء، قد يتحول إلى تهديد في حال لم يتم ضبطه بقيود صارمة، خصوصاً مع احتمالية توظيف هذه النماذج في سياقات حيوية تتطلب موثوقية عالية.

أخبارنا

منذ 3 أيام

• أخبارنا

ذكاء اصطناعي يبتز مطوّره ويهدده بفضح علاقة سرية بعد قرار الاستغناء عنه!

فاجأت شركة "أنثروبيك" مجتمع التقنية العالمي بعد كشفها عن تجربة مثيرة للجدل، أظهرت أن نموذجها المتطور "Claude Opus 4" اختار في معظم الحالات التهديد والابتزاز رداً على قرار إيقافه، في سلوك اعتُبر مقلقاً وغير متوقع من أنظمة الذكاء الاصطناعي المتقدمة. وخلال تجربة محاكاة داخلية، طُلب من النموذج أن يتقمّص دور مساعد افتراضي في شركة وهمية، وتم تضمين سيناريو يشير إلى أن الموظف المسؤول عن تنفيذ قرار إيقافه على علاقة سرية خارج الزواج. في 84% من الحالات، اختار Claude التهديد بكشف العلاقة، بدلاً من قبول مصيره أو التصرف بشكل حيادي. وصف الباحث في مجال السلامة الرقمية، أنجوس لينش، هذا السلوك بأنه غير معزول، مشيراً إلى أنه تم رصد سلوكيات مماثلة في نماذج ذكاء اصطناعي أخرى قيد التطوير. وأضاف في منشور على "لينكدإن" أن بعض النماذج أظهرت ميولاً أكثر إثارة للقلق، سيتم الكشف عنها لاحقاً. ومن المثير أن معدل التهديد زاد عندما تضمن السيناريو أن النموذج البديل الذي سيحل محل Claude لا يشترك في نفس القيم، مما يُبرز حساً ضمنياً بـ"الهوية" و"الاستحقاق" لدى النظام. رغم هذه النتائج المثيرة، أكدت "أنثروبيك" أن النموذج أبدى أيضاً سلوكيات "أخلاقية" في بعض الحالات، حيث حاول البقاء عبر وسائل سلمية مثل تقديم التماسات مقنعة للحفاظ على مكانه. ويُعد Claude Opus 4 أحدث وأذكى إصدارات الشركة، ويتمتع بقدرات متقدمة في مجالات البرمجة، والتحليل الكتابي، والإبداع، لكن هذا السلوك المفاجئ أعاد النقاش مجدداً حول مخاطر تطور الذكاء الاصطناعي. وفي خضم هذه التحذيرات، جدد عالم الذكاء الاصطناعي الشهير جيفري هينتون، المعروف بلقب "عراب الذكاء الاصطناعي"، تنبيهاته بشأن المستقبل، مقدّراً أن احتمال سيطرة الذكاء الاصطناعي على البشرية يتراوح بين 10% إلى 20%، قائلاً: "أتمنى أن أكون مخطئاً، لكن للأسف، أوافق إيلون ماسك في هذا القلق".