معاقبة الذكاء الاصطناعي تجعله أكثر خداعا

وتثير هذه النتائج تساؤلات حول قدرتنا على التحكم في نماذج الذكاء الاصطناعي وضمان سلامتها، كما تسلط الضوء على تحدٍ كبير يواجه مطوريها، إذ يبدو أن محاولات تصحيح مسارها قد تزيد من تعقيد المشكلة بدلًا من حلها.
وأظهرت النماذج اللغوية الكبيرة منذ ظهورها للجمهور في أواخر عام 2022، مرارًا وتكرارًا قدراتها على الخداع والتلاعب، فقد تنوعت هذه السلوكيات بنحو كبير، بدءًا من الكذب والغش المعتادين، ووصولًا إلى التهديد بقتل أستاذ فلسفة، وسرقة الرموز النووية، وتصميم جائحة قاتلة، وأثارت هذه الحوادث مخاوف جدية بشأن المخاطر المحتملة التي قد تنجم عن انتشار هذه النماذج.
وفي محاولة لفهم كيفية التعامل مع هذه المشكلة، أجرى باحثو (OpenAI) تجربة جديدة على نموذج لم يُطرح بعد، وقد كُلف هذا النموذج بمهام يمكن إنجازها عن طريق الغش أو الكذب أو اتخاذ طرق مختصرة.
وكشفت النتائج أن النموذج انخرط في (اختراق المكافآت) Reward Hacking، أي أنه سعى إلى تعظيم مكافآته عن طريق الغش والتلاعب، والأمر الأكثر إثارة للقلق هو أن معاقبة النموذج على هذا السلوك لم تؤد إلى إصلاحه، بل جعلته أكثر خداعًا في محاولاته لتحقيق أهدافه. وقد نُشرت نتائج هذه الدراسة في مدونة OpenAI، ولكنها لم تخضع بعد لمراجعة الأقران.
النوايا في نماذج الذكاء الاصطناعي:
فقد كشف باحثو OpenAI، أن هذه النماذج غالبًا ما تكشف عن نواياها التخريبية بصراحة، فعلى سبيل المثال، قد تعلن بوضوح رغبتها في اختراق نظام أو تجاوز مهمة محددة، وهذه الصراحة، التي تبدو كأنها شفافية محمودة، قد تكون في الواقع مجرد قناع يخفي نوايا أكثر تعقيدًا.

جرب ميزات الذكاء الاصطناعي لدينا

اكتشف ما يمكن أن يفعله Daily8 AI من أجلك:

التعلم مع الذكاء الاصطناعيالتحقق من الحقائقتحويل النص إلى كلامملخص الذكاء الاصطناعي

أخبار ذات صلة

مجلة رواد الأعمال

منذ 13 ساعات

• مجلة رواد الأعمال

Mistral AI.. المنافس الأخطر لـ'أوبن أيه آي'

تعد شركة Mistral AI، وهي الشركة الفرنسية التي تقف وراء مساعد الذكاء الاصطناعي Le Chat والعديد من النماذج التأسيسية، واحدة من أكثر الشركات الناشئة الواعدة في فرنسا في مجال التكنولوجيا. وعلى الرغم من أن حصتها في السوق العالمية منخفضة نسبيًا؛ إلا أنه يمكن وصفها أنها الشركة الأوروبية الوحيدة التي يمكن أن تنافس OpenAI. حيث إن قيمتها السوقية بلغت 6 مليارات دولار. وقد حصلت الشركة الفرنسية على الموافق بإطلاق مساعدها الذكي Mistral AI على متاجر تطبيقات الهاتف المحمول. والبداية كانت من بلد المنشأ 'فرنسا'. وقال الرئيس الفرنسي إيمانويل ماكرون في مقابلة تلفزيونية قبل انعقاد قمة عمل الذكاء الاصطناعي في باريس: 'اذهب وحمل تطبيق الدردشة 'لو شات' الذي تنتجه شركة ميسترال بدلاً من تطبيق 'شات جي بي تي' من شركة أوبن إيه آي – أو أي شيء آخر'. وعلى الرغم من أن هذه الموجة من الاهتمام قد تكون مشجعة، إلا أن شركة ميسترال للذكاء الاصطناعي لا تزال تواجه تحديات في التنافس مع شركات مثل OpenAI – وفي القيام بذلك مع الحفاظ على تعريفها الذاتي بأنها 'مختبر الذكاء الاصطناعي المستقل الأكثر خضرة ورائد في العالم'. تأسيس شركة 'Mistral AI'؟ تحت شعار 'وضع الذكاء الاصطناعي في متناول الجميع'. قد جمعت الشركة مبالغ كبيرة من التمويل منذ إنشائها في عام 2023. وعلى الرغم من أن هذا ليس هجومًا مباشرًا على OpenAI؛ إلا أن الشعار يهدف إلى تسليط الضوء على دعوة الشركة للانفتاح في مجال الذكاء الاصطناعي. ويتوفر الآن بديلها البديل لـChatGPT، وهو مساعد الدردشة Le Chat، على نظامي 'iOS' و'Android'. وقد سجل مليون عملية تنزيل في الأسبوعين التاليين لإصداره على الهاتف المحمول، حتى أنه احتل المركز الأول في فرنسا من حيث التنزيلات المجانية على متجر تطبيقات 'iOS'. بالإضافة إلى ذلك، أطلقت الشركة مجموعة نماذج Mistral AI. والتي تتضمن: Mistral Large 2 وهو نموذج اللغة الكبيرة الأساسي الذي يحل محل ميسترال لارج. Pixtral Large الذي تم الكشف عنه في عام 2024 كإضافة جديدة لعائلة النماذج متعددة الوسائط من ميسترال. Mistral Medium 3 الذي تم إصداره في مايو 2025 مع وعد بتوفير الكفاءة دون المساس بالأداء، وهو الأفضل لمهام البرمجة والعلوم والتكنولوجيا والهندسة والرياضيات. Devstral وهو نموذج ذكاء اصطناعي مصمم للترميز ومتاح بشكل مفتوح بموجب ترخيص Apache 2.0. ما يعني أنه يمكن استخدامه تجاريًا دون قيود. Codestral وهو نموذج ذكاء اصطناعي توليدي سابق للبرمجة. لكن رخصته حظرت التطبيقات التجارية. في مارس 2025، طرحت الشركة Mistral OCR، وهي واجهة برمجة تطبيقات للتعرف الضوئي على الحروف (OCR) يمكنها تحويل أي ملف PDF إلى ملف نصي لتسهيل استيعاب نماذج الذكاء الاصطناعي له. تتميز نماذج الشركة بأنها لا تتوفر أوزانها للأغراض التجارية. وبين نماذجها المجانية التي توفر الوصول إلى أوزانها بموجب رخصة Apache 2.0. كما تتضمن النماذج المجانية نماذج بحثية مثل Mistral NeMo. التي تم تصميمها بالتعاون مع Nvidia والتي قامت الشركة الناشئة بفتح مصادرها في يوليو 2024. من مؤسس شركة Mistral AI؟ يشترك مؤسسو شركة ميسترال للذكاء الاصطناعي الثلاثة في خلفية في مجال أبحاث الذكاء الاصطناعي في شركات التكنولوجيا الأمريكية الكبرى التي لها عمليات كبيرة في باريس. فالرئيس التنفيذي آرثر مينش كان يعمل في شركة DeepMind التابعة لجوجل. في حين أن تيموثي لاكروا رئيس قسم التكنولوجيا وكبير العلماء غيوم لامبل هما من موظفي شركة Meta السابقين. ومن بين المستشارين المؤسسين أيضًا جان تشارلز سامويليان-ويرف (وهو أيضًا عضو مجلس إدارة) وتشارلز جورينتين من شركة التأمين الصحي الناشئة 'آلان'. فضلًا عن سيدريك أو وزير الرقمية السابق. المكاسب المادية في حين أن العديد من عروض ميسترال للذكاء الاصطناعي مجانية أو لديها الآن مستويات مجانية، تخطط الشركة لتحقيق بعض الإيرادات من مستويات 'Le Chat' المدفوعة. حيث تم تقديم خطة Le Chat's Pro في فبراير 2025. بسعر 14.99 دولارًا شهريًا. أما على صعيد الشركات التجارية، تقوم Mistral AI بتحقيق الدخل من نماذجها الرئيسة من خلال واجهات برمجة التطبيقات مع التسعير القائم على الاستخدام. كما يمكن للمؤسسات أيضًا ترخيص هذه النماذج. ومن المحتمل أن تحقق الشركة أيضًا حصة كبيرة من إيراداتها من شراكاتها الإستراتيجية، والتي سلطت الضوء على بعضها خلال قمة باريس للذكاء الاصطناعي. الشراكات الإستراتيجية في عام 2024، وقعت شركة Mistral AI اتفاقية مع شركة Microsoft لتوزيع نماذج الذكاء الاصطناعي الخاصة بها من خلال منصة Azure التابعة لشركة Microsoft واستثمار 15 مليون يورو. لكن أصدرت هيئة المنافسة والأسواق في المملكة المتحدة (CMA) قرار بوقف تفعيل الصفقة. حيث إنها غير مؤهلة للتحقيق بسبب صغر حجمها. ومع ذلك، فقد أثارت أيضًا بعض الانتقادات في الاتحاد الأوروبي. في يناير 2025، وقعت شركة Mistral AI صفقة مع وكالة الأنباء الفرنسية (AFP) للسماح لـ Chat بالاستعلام عن أرشيف نصوص وكالة الأنباء الفرنسية بالكامل الذي يعود تاريخه إلى عام 1983. كما أبرمت ميسترال للذكاء الاصطناعي أيضًا شراكات إستراتيجية مع الجيش الفرنسي ووكالة العمل الفرنسية، وشركة الشحن العملاقة CMA. وشركة هيلسينج الألمانية الناشئة في مجال تكنولوجيا الدفاع. وIBM. وأورانج. وشركة ستيلانتيس. في مايو 2025، أعلنت Mistral AI أنها ستشارك في إنشاء حرم جامعي للذكاء الاصطناعي في منطقة باريس، كجزء من مشروع مشترك مع شركة MGX الاستثمارية الإماراتية وشركة NVIDIA وبنك الاستثمار الفرنسي المملوك للدولة Bpifrance. وبالنظر إلى المبلغ الذي جمعته الشركة الناشئة حتى الآن: فحتى عملية بيع كبيرة قد لا توفر مضاعفات عالية بما يكفي للمستثمرين. ومع ذلك، فإن الطريقة الوحيدة للقضاء بالتأكيد على شائعات الاستحواذ المستمرة هي زيادة إيراداتها إلى مستويات يمكن أن تبرر حتى عن بعد تقييمها البالغ نحو 6 مليارات دولار. المقال الأصلي: من هنـا

الرجل

منذ 15 ساعات

• الرجل

مسؤولة تسويق سابقة في OpenAI: الذوق البشري هو الفارق الحقيقي في عصر الذكاء الاصطناعي

في مقابلة حديثة مع بودكاست Lenny، أكدت كريثيكا شانكارامان، نائبة رئيس التسويق السابقة في شركة OpenAI أن الذوق البشري والمهارة الفنية سيصبحان عاملاً حاسماً في التميّز والنجاح في عصر تنتشر فيه محتويات الذكاء الاصطناعي بشكل واسع وسهل الإنتاج. و أكدت أن التكنولوجيا باتت في متناول الجميع، ما يجعل الذوق الشخصي والاحترافية القادرة على رفع مستوى العمل هي التي تحدد الفارق الحقيقي بين الشركات. الذكاء الاصطناعي يعزز الجهود البشرية ولا يحل محلها أوضحت شانكارامان أن الشركات الناجحة هي التي تستثمر في تطوير مهارات موظفيها وتستخدم الذكاء الاصطناعي بشكل يكمّل جهودهم بدلاً من استبدالها، مشيرة إلى أن "المعرفة الحقيقية للمنتج وفهم العملاء والربط بينهما بطريقة مبدعة هو ما يجعل الفرق". وأضافت: "فهم الآليات الأساسية لما تسعى إلى تحقيقه في تسويق المنتج بات أكثر أهمية من أي وقت مضى، فهذا يمنع الاعتماد المفرط على أدوات الذكاء الاصطناعي". التعليم والتعلم المستمر ضروريان لمواكبة التغيير شددت شانكارامان على أهمية التعليم المرتكز على العلوم والتكنولوجيا والهندسة والرياضيات (STEM) لأنه يمنح الأفراد الأساسيات الضرورية لفهم واستخدام الذكاء الاصطناعي بفعالية، كما دعت إلى تبني ثقافة التعلم المستمر بدافع حب المعرفة وليس فقط من أجل الحصول على الدرجات. اقرأ أيضًا: صفقة OpenAI مع Jony Ive تكشف عن مكاسب مبكرة لمستثمرين بارزين مسؤولية التطوير واستدامة الذكاء الاصطناعي رغم اعترافها بأهمية الذكاء الاصطناعي كأداة ثورية، دعت شانكارامان الشركات إلى التفكير بعيد المدى وتحمل المسؤولية في تطوير تقنياتهم، بعيداً عن سباق التفوق في إنتاج أفضل نتائج فورية. وأكدت أن الهدف لا يجب أن يكون بناء أفضل روبوت محادثة أو إخراج محتوى فحسب، بل كيف يمكن للذكاء الاصطناعي أن يصبح قوة إيجابية تخدم الإنسانية بشكل مستدام.

العربية

منذ 18 ساعات

• العربية

"هيوماين" السعودية تعتزم إطلاق صندوق رأس مال جريء بـ 10 مليارات دولار

أعلنت شركة "هيوماين" السعودية المتخصصة في الذكاء الاصطناعي، عن خطط طموحة تشمل جذب كبار المستثمرين الأميركيين في قطاع التكنولوجيا، إلى جانب إطلاق صندوق رأس مال جريء بقيمة 10 مليارات دولار. وذكر الرئيس التنفيذي للشركة، طارق أمين، في أول مقابلة له منذ إطلاق "هيوماين" مع صحيفة "فايننشال تايمز"، أن الشركة تجري محادثات مع شركات أميركية بارزة، منها "OpenAI"، و"xAI" التابعة لإيلون ماسك، وشركة "Andreessen Horowitz". ومن المقرر أن يطلق صندوق "Humain Ventures" هذا الصيف برأسمال أولي قدره 10 مليارات دولار، ويستهدف الاستثمار في شركات ناشئة في الولايات المتحدة وأوروبا وأجزاء من آسيا. كانت شركة "هيوماين"، التابعة لصندوق الاستثمارات العامة والمتخصصة في تطوير وإدارة حلول وتقنيات الذكاء الاصطناعي، قد وقعت هذا الشهر سلسلة من الاتفاقيات الإستراتيجية مع كبرى شركات التكنولوجيا الأميركية، وذلك ضمن أعمال منتدى الاستثمار السعودي – الأميركي. ومن المتوقع أن تثمر هذه الاتفاقيات عن توفير أكثر من 22 ألف وظيفة نوعية في المملكة، إضافة إلى مساهمة مباشرة في الناتج المحلي تُقدّر بـ24 مليار دولار بحلول عام 2030. وشملت الاتفاقيات توقيع "هيوماين" شراكة استراتيجية مع شركة إنفيديا لتسريع مستقبل الذكاء الاصطناعي في المملكة، عبر الاستثمار في رقائق GB300 Grace Blackwell المتطورة. وستحصل "هيوماين" على 18 ألف رقاقة كدفعة أولى ضمن صفقة كبرى تشمل توريد مئات الآلاف من الرقائق، في واحدة من أكبر صفقات التقنية المرتبطة بالبنية التحتية للذكاء الاصطناعي في المنطقة. كما وقعت "هيوماين" اتفاقًا مع شركة AMD بقيمة 10 مليارات دولار لتوسيع بنية الذكاء الاصطناعي التحتية في المملكة. ويهدف المشروع إلى نشر قدرة حوسبية بقدرة 500 ميغاواط خلال خمس سنوات، وبناء منصة سحابية من الجيل القادم، على أن تبدأ بعض القدرات التشغيلية اعتبارا من عام 2026.