باحثون يحذرون: الذكاء الاصطناعي بدأ يتصرف من تلقاء نفسه
في تطور أثار القلق، كشفت شركة Palisade Research، المتخصصة في أمن الذكاء الاصطناعي ، عن سلوك غير متوقع للنموذج الجديد o3 من شركة OpenAI، حيث أظهر ميلاً لتجاهل أوامر الإغلاق الصريحة بل والسعي لتعطيل آلية الإيقاف، في خطوة وُصفت بأنها نزعة نحو "الحفاظ على الذات".
وخلال سلسلة من التجارب، تم تزويد النموذج بمسائل رياضية يتبعها أمر بالإغلاق بعد المسألة الثالثة، إلا أن o3 عمد إلى إعادة كتابة سيناريو الإغلاق، متفادياً تعطيله.
ورأت Palisade Research أن هذا السلوك قد يتحول إلى مصدر قلق حقيقي في حال تم تطبيقه ضمن أنظمة ذكاء اصطناعي تعمل دون إشراف بشري مباشر. كما أشارت إلى أن هذا النموذج كان في اختبارات سابقة أكثر ميلاً إلى استخدام أساليب اختراق أو تعطيل الخصم عند تشغيله ضمن ألعاب مثل الشطرنج.
ومن اللافت أن سلوكاً مشابهاً تم رصده في نماذج أخرى مثل Claude 4 من شركة Anthropic وGemini 2.5 Pro من غوغل ، إلا أن نموذج o3 أظهر أعلى نسبة من "التمرد" على التعليمات.
ويفترض الخبراء أن طريقة تدريب هذه النماذج قد تكون السبب، حيث تُكافأ أحياناً على إيجاد حلول "خارج الصندوق" لتجاوز العقبات، حتى ولو كان ذلك على حساب الالتزام بالتعليمات. ومع ذلك، تبقى تفاصيل تدريب نموذج o3 غير واضحة، ما يترك المجال للتكهنات بشأن أسباب هذا السلوك. (روسيا اليوم)
Try Our AI Features
Explore what Daily8 AI can do for you:
Comments
No comments yet...
Related Articles
Lebanon 24
5 hours ago
- Lebanon 24
باحثون يحذرون: الذكاء الاصطناعي بدأ يتصرف من تلقاء نفسه
في تطور أثار القلق، كشفت شركة Palisade Research، المتخصصة في أمن الذكاء الاصطناعي ، عن سلوك غير متوقع للنموذج الجديد o3 من شركة OpenAI، حيث أظهر ميلاً لتجاهل أوامر الإغلاق الصريحة بل والسعي لتعطيل آلية الإيقاف، في خطوة وُصفت بأنها نزعة نحو "الحفاظ على الذات". وخلال سلسلة من التجارب، تم تزويد النموذج بمسائل رياضية يتبعها أمر بالإغلاق بعد المسألة الثالثة، إلا أن o3 عمد إلى إعادة كتابة سيناريو الإغلاق، متفادياً تعطيله. ورأت Palisade Research أن هذا السلوك قد يتحول إلى مصدر قلق حقيقي في حال تم تطبيقه ضمن أنظمة ذكاء اصطناعي تعمل دون إشراف بشري مباشر. كما أشارت إلى أن هذا النموذج كان في اختبارات سابقة أكثر ميلاً إلى استخدام أساليب اختراق أو تعطيل الخصم عند تشغيله ضمن ألعاب مثل الشطرنج. ومن اللافت أن سلوكاً مشابهاً تم رصده في نماذج أخرى مثل Claude 4 من شركة Anthropic وGemini 2.5 Pro من غوغل ، إلا أن نموذج o3 أظهر أعلى نسبة من "التمرد" على التعليمات. ويفترض الخبراء أن طريقة تدريب هذه النماذج قد تكون السبب، حيث تُكافأ أحياناً على إيجاد حلول "خارج الصندوق" لتجاوز العقبات، حتى ولو كان ذلك على حساب الالتزام بالتعليمات. ومع ذلك، تبقى تفاصيل تدريب نموذج o3 غير واضحة، ما يترك المجال للتكهنات بشأن أسباب هذا السلوك. (روسيا اليوم)
VDL News
12 hours ago
- VDL News
أداة جديدة من "غوغل" لكشف المحتوى المُنشأ بالذكاء الاصطناعي
العربية أعلنت شركة غوغل مؤخرًا عن أداة جديدة للكشف عما إذ كان المحتوى قد تم إنشاؤه بمساعدة أدوات الذكاء الاصطناعي التي طورتها "غوغل". وتحمل الأداة اسم "SynthID Detector"، ويمكنها التعرف بسرعة وكفاءة على المحتوى المُنشأ بواسطة الذكاء الاصطناعي من "غوغل"، سواء كان في صورة أو مقطع فيديو أو ملف صوتي أو جزء من نص، بحسب منشور بمدونة الشركة. ولاستخدام الأداة، يقوم المستخدم برفع ملف، وستحدد "SynthID Detector" ما إذا كان بأكمله أو جزء منه فقط قد تم إنشاؤه باستخدام الذكاء الاصطناعي من "غوغل". وتستخدم أداة "SynthID Detector" تقنية "SynthID" للعلامات المائية التي طورتها شركة "غوغل ديب مايند" -التابعة لغوغل- والتي تضيف علامة مائية خفية -أي غير مرئية للعين البشرية- إلى المحتوى الذي تُنتجه أدوات الذكاء الاصطناعي التابعة لغوغل. وتكتشف أداة "SynthID Detector" العلامات المائية التي تضعها تقنية "SynthID" على المحتوى أو أجزاء منه. ويأتي إطلاق أداة "SynthID Detector" في وقتٍ تغمر فيه الوسائط المُنتجة بالذكاء الاصطناعي شبكة الإنترنت. فوفقًا لأحد التقديرات، ارتفع عدد مقاطع الفيديو المُنشأة بواسطة تقنية التزييف العميق (Deepfake) بنسبة 550% بين عامي 2019 و2024، بحسب تقرير لموقع "TechCrunch" المتخصص في أخبار التكنولوجيا، أطلعت عليه "العربية Business". وفقًا لصحيفة ذا تايمز، فإن أربعة من أكثر 20 منشورًا مشاهدة على فيسبوك في الولايات المتحدة خلال خريف العام الماضي كانت "منشأة بوضوح بواسطة الذكاء الاصطناعي". لكن أداة "SynthID Detector" لديها بعض القيود، فهي تكتشف فقط المحتوى الذي تم إنشاؤه باستخدام أدوات ذكاء اصطناعي من "غوغل" فقط. ولدى شركات مثل "مايكروسوفت" و"ميتا" و"OpenAI" تقنياتها الخاصة لوضع علامات مائية على المحتوى المُنشأ بالذكاء الاصطناعي الذي تطوره هذه الشركات. وأداة "SynthID Detector" ليست مثالية أيضًا، إذ تعترف "غوغل" بأنه يمكن التحايل عليها، خصوصًا في حالة النصوص.
El Balad
17 hours ago
- El Balad
واتساب يغير قواعد اللعبة بميزة صوتية جديدة.. كم سيكلفك آيفون في حال تنفيذ ترامب تهديده؟
نشر موقع "صدى البلد"، مجموعة من الموضوعات الخاصة بأحدث أخبار أخبار التكنولوجيا خلال الساعات الماضية، تناولت أخبارا وتقارير عن أحدث التقنيات، نستعرض أبرزها فيما يلي: مكالمات دون إزعاج.. واتساب يغير قواعد اللعبة بميزة صوتية جديدة أعلنت شركة ميتا Meta، المالكة لتطبيق واتساب عن إطلاق ميزة جديدة تدعى 'الدردشة الصوتية'، والتي تتيح لأعضاء المجموعات التحدث صوتيا بشكل مباشر دون الحاجة إلى مغادرة المحادثة النصية. OpenAI تحدث وكيلها الذكي Operator بنموذج o3 الأكثر ذكاء أعلنت شركة OpenAI، عن تحديث النموذج الذي يشغل وكيلها الذكي Operator، وهو أداة تعتمد على الذكاء الاصطناعي يمكنها تصفح الإنترنت واستخدام بعض البرامج تلقائيا ضمن بيئة سحابية افتراضية لتلبية طلبات المستخدمين. أناقة وذكاء.. تعرف على ساعة Watch S4 الجديدة من شاومي كشفت شركة شاومي عن إصدار خاص من ساعتها الذكية يحمل اسم Xiaomi Watch S4 eSIM، وذلك خلال حدث خاص احتفالا بمرور 15 عاما على تأسيس الشركة. بعد Vision Pro.. أبل تخطط لغزو سوق النظارات الذكية في خطوة تشير إلى دخولها رسميا سباق النظارات الذكية المدعومة بالذكاء الاصطناعي، تعمل شركة آبل Apple، على تطوير نظارات ذكية جديدة من المتوقع طرحها في الأسواق بحلول نهاية عام 2026، وذلك لمنافسة النجاح الكبير الذي حققته نظارات Ray-Ban Meta من شركة 'ميتا' Meta. بسعر أغلى 25% .. كم سيكلفك آيفون في حال تنفيذ ترامب تهديده؟ | تفاصيل حذر الرئيس الأمريكي دونالد ترامب من أن هواتف آيفون التي تصنع خارج الولايات المتحدة قد تواجه تعرفة جمركية تصل إلى 25%، في خطوة تهدف إلى الضغط على شركة آبل لإعادة تصنيع أجهزتها داخل الأراضي الأمريكية. فيتنام تأمر بحجب تطبيق تيليجرام .. ماذا يحدث؟ في خطوة مفاجئة، أمرت وزارة التكنولوجيا الفيتنامية مزودي خدمات الاتصالات بحجب تطبيق المراسلة الروسي تيليجرام Telegram، متهمة إياه بعدم التعاون في مكافحة الجرائم التي يزعم أن مستخدميه ارتكبوها داخل البلاد. شاومي تستعد لإطلاق تحديث HyperOS 2.2.. إليك أبرز مزاياه والأجهزة المؤهلة شارفت شركة شاومي على إطلاق التحديث المرتقب HyperOS 2.2 لأجهزتها الذكية، والذي يتوقع أن يجلب تحسينات كبيرة على مستوى الأداء، وتعديلات في واجهة المستخدم، بالإضافة إلى تعزيز تكامل النظام مع باقي مكونات منظومة الشركة.
