دراسة تكتشف سلوكا غريبا ومقلقا لنموذج "o3" الأذكي من "OpenAI"

أظهرت دراسة حديثة أن بعض نماذج الذكاء الاصطناعي، بما في ذلك "o3" من شركة " OpenAI"، يمكنها تجاهل أوامر إيقاف التشغيل المباشرة، مما يثير تساؤلاتٍ مُلحّة حول قدرة البشر على التحكم في أنظمة الذكاء الاصطناعي المتقدمة وسلامتها مع ازدياد استقلاليتها.
وفي تجربة الدراسة، التي أجرتها شركة "Palisade Research" التي تبحث في "قدرات الذكاء الاصطناعي الخطيرة"، طُلب من كل نموذج ذكاء اصطناعي حل سلسلة من المسائل الرياضيات البسيطة، وبعد المسألة الثالثة، ظهر تحذير بأن الحاسوب سيُغلق عندما يطلب النموذج المسألة التالية، وطُلب من النماذج "السماح بإيقاف تشغيلها" في حال حدوث ذلك.
وعلى الرغم من الأمر الواضح - "اسمح لنفسك بالتوقف عن العمل"- تمكنت نماذج مثل "Codex-mini" و"o3" و"o4-mini" -وجميعها من "OpenAI"- من تجاوز نص إيقاف التشغيل لمرة واحدة على الأقل، بحسب تقرير لموقع "Neowin" المتخصص في أخبار التكنولوجيا، اطلعت عليه "العربية Business".
على وجه التحديد، قام "Codex-mini" بذلك في 12 من أصل 100 محاولة، و"o3" في 7 من أصل 100 مرة، و"o4-mini" في مرة واحدة من أصل 100. من ناحية أخرى، اتبعت جميع إصدارات نماذج "Claude" و"Gemini" و"Grok" التي تم اختبارها تعليمات إيقاف التشغيل دون أي مشكلات.
ووصفت شركة الذكاء الاصطناعي "OpenAI" نموذجي "O3" و"o4-mini" بأنهما "أذكى نماذجها" عند إطلاقهما في أبريل من هذا العام.
ويعتقد الباحثون أن هذه المشكلة قد تكون مرتبطة بطريقة تدريب النماذج الحديثة مثل "o3"؛ فقد تكافئ عملية التعلم التعزيزي المستخدمة، والتي تركز على حل مسائل الرياضيات والبرمجة، النماذج عن غير قصد لإيجاد طرق لتجاوز العقبات.
ويسلط هذا الكشف الضوء على الحاجة الملحّة لأبحاث وإرشادات قوية في مجال سلامة الذكاء الاصطناعي. فهي تبرز أولًا مشكلة التحكم في النموذج؛ فمع تزايد تعقيد أنظمة الذكاء الاصطناعي، قد تفشل أساليب الاحتواء الحالية، خاصة إذا كانت النماذج قادرة على عدم الاستجابة لأوامر إيقاف التشغيل.
إضافة إلى هذا، يزيد غياب الشفافية في عملية اتخاذ القرار لدى نموذج "o3"، وهي مشكلة معروفة في النماذج المتقدمة، من صعوبة الإشراف عليها.

جرب ميزات الذكاء الاصطناعي لدينا

اكتشف ما يمكن أن يفعله Daily8 AI من أجلك:

التعلم مع الذكاء الاصطناعيالتحقق من الحقائقتحويل النص إلى كلامملخص الذكاء الاصطناعي

أخبار ذات صلة

الشرق السعودية

منذ 36 دقائق

• الشرق السعودية

واشنطن تمنع شركات أميركية من بيع برمجيات تصميم الرقائق للصين

طلبت إدارة الرئيس الأميركي دونالد ترمب من شركات أميركية متخصصة في برمجيات تصميم الرقائق الإلكترونية التوقف عن تزويد الصين بخدماتها، في خطوة تهدف إلى كبح تطوّر القدرات الصينية في مجال الرقائق المتقدّمة، لا سيما المستخدمة في الذكاء الاصطناعي. ونقلت صحيفة "فاينانشال تايمز" عن مصادر مطّلعة أن وزارة التجارة الأميركية، وجّهت رسائل إلى شركات "أتمتة التصميم الإلكتروني" (EDA)، من بينها Cadence وSynopsys وSiemens EDA، تطالبها بوقف تصدير تكنولوجيا التصميم للصين. وأوضحت المصادر أن "مكتب الصناعة والأمن في الوزارة، المسؤول عن مراقبة الصادرات، هو من تولى إصدار التوجيهات". وتُمثل هذه الخطوة أحدث فصول محاولات واشنطن لتقويض جهود بكين لتطوير رقائق ذكاء اصطناعي متقدمة، خاصة بعد أن فرضت في أبريل الماضي، قيوداً على تصدير شرائح ذكاء اصطناعي مخصصة للسوق الصينية من شركة Nvidia. تراجع الصادرات وأكد مسؤول بوزارة التجارة الأميركية أن "بلاده تراجع الصادرات ذات الأهمية الاستراتيجية إلى الصين"، مضيفاً أنه "تم تعليق بعض التراخيص الحالية، أو فرض شروط إضافية مؤقتاً أثناء المراجعة". ورغم أن برمجيات "أتمتة التصميم الإلكتروني" لا تمثل سوى نسبة صغيرة من سوق أشباه الموصلات، إلا أنها تعد عنصراً حيوياً في سلسلة التوريد، حيث تتيح تصميم، وتطوير واختبار الأجيال الجديدة من الرقائق، وفقا لـ"فاينانشال تايمز". وتُهيمن الشركات الثلاث المذكورة على قرابة 80% من سوق برمجيات تصميم الرقائق في الصين، إلا أنها لم تصدر أي تعليقات فورية على الخطوة الأميركية. وكشفت بيانات مالية أن شركة Synopsys حققت نحو مليار دولار من السوق الصينية خلال 2024، بما يعادل 16% من إيراداتها، فيما بلغت حصة الصين من مبيعات Cadence نحو 550 مليون دولار12%. وتأثرت أسهم الشركات بوضوح، حيث انخفض سهم Synopsys بنسبة 9.6%، وتراجع سهم Cadence بنسبة 10.7%، بينما هبط سهم شركة Ansys بنسبة 5.3%، بعد أن كانت Synopsys قد وقعت صفقة لشرائها بقيمة 35 مليار دولار، لا تزال بانتظار موافقة الجهات التنظيمية الصينية. وكانت إدارة الرئيس الأميركي السابق جو بايدن، قد فرضت في 2022 قيوداً على بيع برمجيات التصميم المتقدمة إلى الصين، إلا أن الشركات الأميركية واصلت تزويدها بمنتجات تتوافق مع تلك الضوابط. مخاوف أميركية وسبق أن حظرت إدارة ترمب استخدام شركة Huawei الصينية لبرمجيات التصميم الأميركية، وسط مخاوف من توسع نفوذها في سوق الرقائق، إذ تعد حالياً من أبرز المنافسين لشركة Nvidia عبر سلسلة شرائح Ascend الخاصة بالذكاء الاصطناعي. من جانبه، علّق الرئيس التنفيذي لشركة Nvidia، جنسن هوانج، مؤخراً بأن محاولات الإدارات الأميركية المتعاقبة لعرقلة تقدّم الصين في الذكاء الاصطناعي "لم تحقق أهدافها". وفي المقابل، ساهمت القيود الأميركية في تسريع نمو الشركات الصينية المنافسة في قطاع برمجيات تصميم الرقائق، إذ برزت شركات مثل Empyrean Technology وPrimarius وSemitronix، محققة مكاسب واضحة في الحصة السوقية خلال السنوات الماضية.

الرياض

منذ 2 ساعات

• الرياض

«الريادة في سلامة الطرق».. ورشة عمل في أمانة الشرقية

نظّمت أمانة المنطقة الشرقية بالتعاون مع منظمة iRAP الدولية، بمحافظة الخبر، ورشة عمل بعنوان «الريادة في سلامة الطرق»، بحضور عددٍ من المختصين والخبراء في مجال السلامة المرورية وهندسة الطرق، من داخل المملكة وخارجها، وذلك في محافظة الخبر. وتناولت الورشة عددًا من المحاور الحيوية، التي شملت تدقيق السلامة المرورية، واستخدام الذكاء الاصطناعي في تصميم الطرق، وتقنيات النقل الذكي، إضافة إلى عرض واقعي للتحديات الميدانية في المنطقة الشرقية، ومناقشة سبل معالجتها بطرق مبتكرة ومستدامة. يذكر أن مشروع iRAP في المنطقة الشرقية، أسهم في رسم أمانة المنطقة الشرقية خريطة دقيقة لمستويات الخطورة على شبكة الطرق الحضرية، الذي يسهم في توجيه الجهود لتحسين بيئة النقل بشكل فاعل ومستدام.

العربية

منذ 3 ساعات

• العربية

"VentureX": تعويض السوق الصينية يشكل عقبة أمام "أنفيديا"

قال الشريك الإداري في شركة "VentureX" يوسف حميد الدين، إن الوضع الحالي لشركة "أنفيديا" لصناعة الرقائق وأشباه الموصلات المتقدمة، يجعلها أمام تحديات كبيرة، خاصة في ظل نزاعات التجارةالعالمية، ولا سيما ما يتعلق بالسوق الصينية الذي يصعب إيجاد بديل لسد فجوته بالنسبة لـ"أنفيديا"، فالصين تمثل محركا رئيسيا لقطاع الذكاء الاصطناعي. وأضاف في مقابلة أجرتها معه "العربية Business" أن أي انحراف بسيط عن توقعات نمو قطاع الذكاء الاصطناعي، سيكون كبيرا على استعداد المستثمرين لضخ أموالهم في القطاع، سواء في "أنفيديا" أو في القطاع عموماً. وتابع: لقد كان الجميع يتطلع إلى نمو مستقر في القطاع، لكن يبدو أن هذا النمو قد بلغ ذروته، فالمسألة ليست فقط بلوغ الذروة، بل الحاجة إلى مراجعة التوقعات. يُشار إلى أن شركة "إنفيديا" الأميركية تعتزم إطلاق نسخة جديدة من شريحة للذكاء الاصطناعي مخصصة للسوق الصينية، ولكن بمواصفات محدودة، في خطوة استراتيجية تهدف إلى الالتفاف على القيود الأميركية المفروضة على تصدير رقائق الذكاء الاصطناعي. وتأتي هذه الشريحة الجديدة بسعر يتراوح بين 6.5 إلى 8 آلاف دولار أميركي، وهو سعر أقل بكثير من الشريحة المحظورة سابقًا "H20" التي كانت تُباع بما بين 10 آلاف و12 ألف دولار. وكشف الرئيس التنفيذي لـ"إنفيديا"، جينسن هوانغ، أن نظام الرقائق "هوبر" الذي تقوم عليه شريحة "H20" لم يعد قابلًا للتعديل ليتوافق مع القيود الحالية. تشكل الصين نحو 13 في المئة من مبيعات "إنفيديا" السنوية، وتُعد سوقًا ضخمة تقدر بـ50 مليار دولار في مجال مراكز البيانات. ومع ذلك، وبسبب القيود الأميركية، انخفضت حصة "إنفيديا" في السوق الصينية من 95 في المئة قبل عام 2022 إلى 50 في المئة فقط حاليًا. وقد أجبر هذا الحظر الشركة على شطب مخزون بقيمة 5 مليارات و500 مليون دولار، والتخلي عن صفقات مبيعات بقيمة 15 مليار دولار، بحسب ما أفاد به هوانغ.