تقرير علمي: قدرة البشر على فهم «نوايا» الذكاء الاصطناعي في خطر
الورقة البحثية، بعنوان «قابلية مراقبة سلسلة التفكير: فرصة جديدة وهشة لسلامة الذكاء الاصطناعي». تشرح بالتفصيل كيف يمكن تتبع الخطوات العقلية التي تتبعها النماذج في أثناء التفكير، خصوصاً عندما تُعبر عنها بلغة بشرية ومراقبتها من أجل رصد أي نية خبيثة أو سلوك غير آمن قبل وقوعه. لكن الباحثين يحذرون من أن هذه القدرة قد لا تستمر إذا لم تحظَ بالعناية الكافية.
«سلسلة التفكير» تتيح فرصة نادرة لمراقبة نوايا الذكاء الاصطناعي قبل أن يتصرف (غيتي)
في صلب هذه الورقة البحثية نجد مفهوم «سلسلة التفكير» (CoT)، وهي تشير إلى الطريقة التي «يفكر» بها النموذج بصوتٍ عالٍ من خلال خطوات منطقية مكتوبة بلغة طبيعية أثناء أداء مهمة معينة. يُستخدم هذا النهج على نطاق واسع لتحسين أداء نماذج اللغة الكبيرة، حيث يعزز دقة الاستجابات عن طريق تقسيم المهام المعقدة إلى خطوات صغيرة.
يرى الباحثون أن هذه الخاصية تُشكل فرصة نادرة للإشراف والمراقبة؛ لأن العديد من النماذج المتقدمة بما في ذلك تلك التي تطورها «أوبن إيه آي» (OpenAI) و«غوغل» (Google) تُنتج أثراً لغوياً أثناء عمليات التفكير، مما يجعل من الممكن رصد بوادر الانحراف أو النوايا الضارة مبكراً.
وقد أظهرت تجارب سابقة أن النماذج في بعض الأحيان «تقول الأمور بوضوح» في سلسلة تفكيرها، مثل: «دعونا نخترق النظام» أو «أنقل الأموال لأن الموقع طلب ذلك»، ما يمكن أن يُكتشف عبر أدوات المراقبة بسهولة أكبر مقارنة برصد الأفعال فقط.
يقدم الباحثون سببين رئيسيين يجعلان سلسلة التفكير فرصة واقعية للمراقبة وهو الضرورة حيث تتطلب المهام المعقدة تفكيراً متسلسلاً، لا تستطيع النماذج إكمال المهمة إلا إذا قامت بـ«التفكير بصوت عالٍ»، أي عبر لغة مفهومة. هذا يُتيح مراقبة خطوات التفكير التي تمر عبر ما يشبه «الذاكرة العاملة» في النماذج، وبالتالي الكشف عن نواياها. ثانياً، الميول الطبيعية للتفكير بلغة بشرية، حتى عندما لا يكون التفكير العلني ضرورياً، تميل بعض النماذج إلى التعبير عن خطواتها باللغة نتيجة تدريبها على بيانات بشرية، مما يعزز من الشفافية. هذان العاملان يخلقان ما يسميه الباحثون «سطح مراقبة»، يمكن من خلاله فهم أهداف النموذج بشكل أفضل قبل أن يتصرف.
يوصي الباحثون بتطوير أدوات تقييم متقدمة لقابلية المراقبة واستخدامها في قرارات النشر والتوسع.
رغم هذه المزايا، يُحذر الباحثون من أن قابلية مراقبة سلاسل التفكير قد تكون عرضية ومؤقتة. ويؤكدون أن هذا المستوى من الشفافية قد يكون ناتجاً عن الأساليب الحالية في تدريب النماذج، والتي قد تتغير في المستقبل.
تشمل التهديدات التي قد تقوّض قابلية مراقبة سلسلة التفكير عدداً من التحولات التقنية والمنهجية المتسارعة. من ذلك، الاعتماد المتزايد على التدريب المعزز الموجّه بالنتائج فقط، ما قد يقلّل من اهتمام النموذج بشرح خطواته بوضوح. إلى جانب ذلك، فإن تطبيق الإشراف المباشر على طريقة التفكير قد يدفع النماذج لإنتاج مخرجات «آمنة شكلياً»، لكنها لا تعبّر عن منطقها الحقيقي، مما يُضعف صدق سلسلة التفكير. كما أن ظهور ضغوط غير مباشرة، كوعي النموذج بوجود مراقبة، قد يحفّزه على إخفاء أو تحوير تفكيره لتجنّب الاكتشاف. ولا تقل خطورة عن ذلك الهندسات الجديدة التي تعتمد على التفكير في فضاءات كامنة وغير لغوية؛ إذ قد تؤدي إلى اختفاء سلسلة التفكير بالكامل وفقدان الشفافية. لهذا، يرى الباحثون أن الحفاظ على هذه القدرة التفسيرية يتطلب جهداً متعمداً قبل أن تصبح غير قابلة للاسترداد.
الورقة البحثية: قابلية مراقبة الذكاء الاصطناعي تمثل طبقة أمان إضافية لكنها هشة وتتطلب حماية واعية (شاترستوك)
اقترح الباحثون سلسلة من التوصيات العاجلة بهدف الحفاظ على قابلية مراقبة سلسلة التفكير وتعزيز دورها في سلامة النماذج المتقدمة. أولى هذه التوصيات هي تطوير أدوات تقييم دقيقة وقادرة على قياس هذه القابلية بفاعلية؛ إذ إن الأدوات الحالية لا تزال محدودة في نطاقها وتطبيقها. كما شددوا على ضرورة تحديد معايير واضحة للحكم على ما إذا كان النموذج «قابلاً للمراقبة»، أي وضع حدود دنيا لمستوى الشفافية المطلوب قبل الاعتماد على سلسلة التفكير كطبقة أمان موثوقة. وإلى جانب ذلك، دعا الباحثون إلى اختبار النماذج في بيئات خصومية تحاكي محاولات التمويه أو الإخفاء، من أجل معرفة مدى قدرتها على إخفاء نواياها حتى دون تدريب صريح على ذلك. كما أكدوا أهمية إدراج قابلية المراقبة كعنصر أساسي في قرارات النشر والتوسع، تماماً كما تُؤخذ بعين الاعتبار معايير الأداء والكفاءة والأخلاقيات. وفي هذا السياق، حذر الباحثون من خطورة التوجه نحو تزييف مظهر سلسلة التفكير لتبدو «آمنة» شكلياً فقط، في محاولة لتجنّب الرقابة القانونية أو الضغوط المجتمعية؛ لأن هذا النهج من شأنه أن يُفرغ الشفافية من مضمونها ويقوّض دورها في تعزيز الأمان الحقيقي.
في سياق أوسع من البحث في سلامة الذكاء الاصطناعي، تُعد مراقبة سلسلة التفكير أداة نادرة وغير تدخّلية تسمح بفهم طريقة تفكير النماذج، من دون الحاجة إلى تحليل معقد للبُنى الداخلية للنموذج.
لكن مع تزايد قدرات النماذج، وتطور وعيها بالسياق والرقابة، قد تختفي هذه النافذة ما لم يتم الحفاظ عليها عمداً. الورقة البحثية لا تقدم فقط تحذيراً بل أيضاً دعوة مفتوحة للباحثين والمطورين: استخدموا قابلية المراقبة الحالية على أفضل وجه، وادرسوا كيف يمكن الحفاظ عليها وتطويرها لتكون طبقة دفاع فعالة ضمن منظومة أمان متعددة الطبقات.
في النهاية، قد تكون القدرة على «الاستماع إلى تفكير الذكاء الاصطناعي» إحدى آخر وأفضل فرصنا لفهمه والتحكم فيه قبل أن يتصرف خارج السيطرة.
هاشتاغز
جرب ميزات الذكاء الاصطناعي لدينا
اكتشف ما يمكن أن يفعله Daily8 AI من أجلك:
التعليقات
لا يوجد تعليقات بعد...
أخبار ذات صلة
الشرق الأوسط
منذ 10 ساعات
- الشرق الأوسط
ملخصات الذكاء الاصطناعي تجدد مخاوف الناشرين
جدّدت نتائج دراسة حديثة بشأن ملخصات الذكاء الاصطناعي على «غوغل» مخاوف ناشرين حول عدد الزيارات الواردة للمواقع الإخبارية عبر البحث على المنصة، لا سيما أن الدراسة تحدثت عن اكتفاء المستخدمين بهذه الملخصات والإحجام عن النقر على روابط الأخبار. وبينما أكد خبراء مخاوف الناشرين من ملخصات الذكاء الاصطناعي، فإنهم رأوا أنه لا تزال هناك فرصة للاستفادة منها. وفق دراسة نشرها أخيراً «مركز بيو للأبحاث»، وحللت بيانات 900 مواطن أميركي أجرى نحو 58 في المائة منهم بحثاً واحداً على الأقل عبر «غوغل» في مارس (آذار) 2025، فإن مستخدمي «غوغل» كانوا أقل عرضة للنقر على روابط النتائج عند زيارة صفحات البحث التي تحتوي على ملخص مُولّد بواسطة الذكاء الاصطناعي، مقارنة بمن لا يطلعون على هذه الملخصات. وأفادت الدراسة بأن «نحو 8 في المائة فقط من العينة نقروا على روابط الأخبار في صفحات البحث التي ظهرت فيها ملخصات الذكاء الاصطناعي، مقابل 15 في المائة زاروا روابط المواقع في صفحات البحث التي لم تظهر فيها ملخصات الذكاء الاصطناعي». وأضافت أن «26 في المائة من مستخدمي غوغل ينهون التصفّح تماما بعد زيارة صفحة بحث تحتوي على ملخص ذكاء اصطناعي، مقارنة بـ16 في المائة يفعلون ذلك في صفحات البحث التي لا تحتوي على ملخّصات». يُذكر أن «غوغل» كانت قد قدمت العام الماضي، ميزة أطلقت عليها اسم «Google AI Overviews»، وهي ميزة تعرض ملخصاً للنتائج مُولّداً بواسطة الذكاء الاصطناعي في أعلى صفحات البحث. ووفق الدراسة فإن «الناشرين أرجعوا انخفاض معدل الزيارات لمواقعهم عبر محركات البحث إلى ملخصات الذكاء الاصطناعي التي يعتمد عليها المستخدمون بديلاً عن النقر على الروابط». وكشفت الدراسة عن أن «المصادر الأكثر شيوعاً في ملخصات غوغل للذكاء الاصطناعي ونتائج البحث القياسية هي ويكيبيديا ويوتيوب وريديت». وفي حين يشارك الباحث الإعلامي الأميركي يوشنا إكو، رئيس ومؤسس «مركز الإعلام ومبادرات السلام» في نيويورك، الناشرين مخاوفهم بشأن معدل الزيارات من محركات البحث في ظل وجود ملخصات الذكاء الاصطناعي، فإنه أوضح لـ«الشرق الأوسط» أن «المخاوف حقيقية، وهناك تراجع فعلي في معدل الزيارات عبر نتائج البحث، لكن في الوقت نفسه فإنه لا يمكن الاعتماد على نتائج دراسة (بيو) وحدها كونها تعتمد على عينة صغيرة نسبياً». وأردف من ثم: «هناك نحو500 مليار عملية بحث عبر غوغل شهرياً، وبالتالي، فإنه لا يمكن تقييمها من خلال نحو 66 ألف عملية بحث فقط فحصتها الدراسة». لكنه استدرك فأكد أن «هذه الملخصات بالفعل تؤثر على مستوى الزيارات الواردة للمواقع الإخبارية ما يوجب على ناشرين البحث عن بدائل لجلب الزيارات». وتابع إكو «هذه الملخصات يمكن أن تكون مفيدة لو جرى ربطها بمصادر معلومات موثقة والتأكيد على إشارتها لمصادر المعلومات الأصلية». من ناحية أخرى، تعليقاً على نتائج الدراسة، قالت «غوغل» في بيان صحافي، إن «المستخدمين ينجذبون إلى التجارب المدعومة بالذكاء الاصطناعي... وإن ملخصات الذكاء الاصطناعي في البحث تمكّن المستخدمين من طرح المزيد من الأسئلة، ما يُتيح فرصاً جديدة للتواصل مع المواقع الإلكترونية». بيد أنها شككت في المنهجية التي اتّبعتها الدراسة ووصفتها بأنها «معيبة ولا تمثل حركة البحث». وقالت «إننا نوجه مليارات النقرات باستمرار إلى المواقع الإلكترونية يومياً، ولم نلاحظ انخفاضاً كبيراً في إجمالي حركة الزيارات للمواقع الإلكترونية كما يُشاع». على صعيد آخر، أفاد خالد البرماوي، الصحافي المصري المتخصص في الإعلام الرقمي، لـ«الشرق الأوسط»، بأن «الدراسة الأخيرة وغيرها من الدراسات تناقش قضايا مهمة تتعلق بانتهاكات الذكاء الاصطناعي لحقوق الملكية الفكرية وإعادة استخدام البيانات والمعلومات بشكل مباشر أو غير مباشر دون إشارة لمنتجها الأصلي».
الوطن
منذ 10 ساعات
- الوطن
Google تنظم نتائج البحث
أعلنت شركة قوقل عن إطلاق خاصية جديدة ضمن تجارب (Search Labs) تُدعى (Web Guide)، تعتمد على الذكاء الاصطناعي (AI) لإعادة تنظيم نتائج البحث بطريقة أكثر تخصيصًا ووضوحًا، تهدف هذه الخاصية إلى مساعدة المستخدم على التنقل بين الصفحات المرتبطة بجوانب متعددة من سؤاله، بدلاً من عرض نتائج متفرقة كما في البحث التقليدي. يعتمد (Web Guide) على تقنيات (AI) المتقدمة المدمجة في منصة المحادثة (Gemini)، حيث تُحلل الخوارزميات استفسار المستخدم، وتعيد ترتيب النتائج ضمن مجموعات مفهرسة بحسب نوع الإجابة، مثل: أدلة شاملة، نصائح، تجارب شخصية، وغيرها. تم تصميم الخاصية لتناسب الأسئلة المفتوحة والمعقدة، مثل «أفضل الطرق للسفر بمفردي» أو «كيف أبقى على تواصل مع عائلتي عبر مناطق زمنية مختلفة؟»، ستُتاح تجربة (Web Guide) من خلال تبويب «الويب» على صفحة نتائج البحث، مع إمكانية إيقافها دون تعطيل التجربة بالكامل. تُعد هذه الخطوة امتدادًا لتجارب أخرى، مثل (AI Mode) و(NotebookLM)، حيث تختبر غوغل كيف يمكن للذكاء الاصطناعي تحسين تجربة البحث، وتقديم نتائج أدق وأكثر ملاءمة لحاجة المستخدم.
الاقتصادية
منذ 13 ساعات
- الاقتصادية
روبوتات شبيهة بالبشر تجسد في شنغهاي طموحات الصين في الذكاء الاصطناعي
خلال المؤتمر العالمي للذكاء الاصطناعي في مدينة شنغهاي، حيث عُرض عشرات من الروبوتات الشبيهة بالبشر، جسدت العروض، التي أذهلت كثيرين بقدراتها على أداء مهام متنوعة يؤديها الإنسان في يومياته، تجسدت طموحات الصين في هذا المجال. يهدف الحدث السنوي إلى إبراز تقدم الصين في هذا القطاع، مع سعي حكومة بكين إلى ترسيخ مكانة البلاد كقوة رائدة عالميا في كل من التكنولوجيا والتنظيم. في افتتاح المؤتمر أمس السبت، دعا رئيس الوزراء الصيني لي تشيانج إلى الحوكمة الرشيدة وتقاسم الموارد. وأعلن إنشاء هيئة، كانت بادرت بكين إلى إطلاقها، تهدف إلى تحفيز التعاون الدولي في مجال الذكاء الاصطناعي. أكد لي تشيانج أن "إيجاد توازن بين التنمية والأمن يتطلب توافقا عاجلا وأوسع نطاقا من جميع أفراد المجتمع". أكثر من 300 منتج، بينها الروبوتات شبيهة البشر يُمثل المؤتمر هذا العام لحظة فارقة للصين، بعد إطلاق نموذج ذكاء اصطناعي محلي من شركة "ديب سيك" الناشئة، يضاهي بأدائه منافسيه الأمريكيين بتكلفة أقل. شارك أكثر من 800 شركة في الحدث، مع عرض أكثر من 3 آلاف منتج، تشمل روبوتات شبيهة بالبشر استحوذت على الاهتمام الأكبر من الزوار، بحسب المنظمين. تدعم الحكومة الصينية الروبوتات، وهو مجال يعتقد بعض الخبراء أن الصين قد تفوقت فيه بالفعل على الولايات المتحدة. يانج ييفان، مدير البحث والتطوير في شركة "ترانسورب" المتخصصة في الذكاء الاصطناعي في شنغهاي، يرى أن "الطلب مرتفع للغاية حاليا، سواءً من حيث البيانات أو السيناريوهات أو تدريب النماذج. وقال: "الجو العام في هذه المجالات حيوي جدا"، وفقا لما نقلته عنه وكالة الأنباء الفرنسية. تطور لافت مقارنة بما جرى تقديمه العام الماضي في أحد الأكشاك، يعزف روبوت على الدرامز على أنغام أغنية "وي ويل روك يو" الشهيرة لفرقة "كوين" البريطانية، بينما تقوم روبوتات أخرى بتحركات تشبه ما يفعله عمال خطوط التجميع، أو تلعب الكيرلنج ضد خصوم من لحم ودم، أو تقدم المشروبات من آلة بيع. في جناح "يونيتري"، يسدد الروبوت "G1" الذي يناهز طوله 1.3 متر، الركلات ويدور ويتأرجح مع الحفاظ على توازنه بانسيابية، مُحاكيا مباراة ملاكمة. قبل افتتاح المؤتمر، أعلنت الشركة، ومقرها هانجتشو (شرق) عن إطلاق روبوت بشري جديد يحمل اسم "R1" بسعر يقل عن 6 آلاف دولار.
