يبدو أن الناس يجدون التغريدات أكثر إقناعًا عند كتابتها باستخدام نماذج لغة الذكاء الاصطناعي. كان هذا هو الحال في دراسة جديدة تقارن المحتوى الناتج عن الإنسان مع اللغة التي تم إنشاؤها بواسطة نموذج OpenAI GPT-3.
استطلع مؤلفو البحث الجديد الأشخاص لمعرفة ما إذا كان بإمكانهم التمييز بين تغريدة كتبها شخص آخر أو كتبها GPT-3. لا يستطيع الناس فعل ذلك حقًا ، حيث طلب الاستطلاع منهم أن يقرروا ما إذا كانت المعلومات الواردة في كل تغريدة صحيحة أم لا ، وهنا تزداد الأمور صعوبة ، خاصة وأن المحتوى يركز على مواضيع علمية مثل اللقاحات وتغير المناخ التي تخضع لكثير من حملات التضليل. متصل.
وجد أن المشاركين في الدراسة يواجهون صعوبة أكبر في التعرف على المعلومات المضللة إذا تمت كتابتها بواسطة نموذج اللغة أكثر مما لو كتبها شخص آخر. على نفس المنوال ، كانوا أيضًا أكثر قدرة على تحديد المعلومات الدقيقة بشكل صحيح إذا تمت كتابتها بواسطة GPT-3 وليس بواسطة إنسان.
واجه المشاركون في الدراسة وقتًا أصعب في التعرف على المعلومات المضللة إذا تمت كتابتها بواسطة نموذج اللغة أكثر مما لو كتبها شخص آخر.
بعبارة أخرى ، كان من المرجح أن يثق الأشخاص في الدراسة في GPT-3 أكثر من غيرهم من البشر – بغض النظر عن مدى دقة المعلومات التي تم إنشاؤها بواسطة الذكاء الاصطناعي. يوضح هذا مدى قوة نماذج لغة الذكاء الاصطناعي عندما يتعلق الأمر إما بإعلام الجمهور أو تضليله. .
يقول جيوفاني سبيتالي ، المؤلف الرئيسي للدراسة وباحث ما بعد الدكتوراه ومدير بيانات البحث في معهد أخلاقيات الطب الحيوي وتاريخ الطب في جامعة زيورخ ، إنه لا يجب أن يكون هذا هو الحال. فهي بطبيعتها مجرد مكبر للصوت لنية الإنسان.
جمع Spitale وزملاؤه مشاركات من Twitter تناقش 11 موضوعًا علميًا مختلفًا تتراوح من اللقاحات و covid-19 إلى تغير المناخ والتطور. ثم طلبوا من GPT-3 كتابة تغريدات جديدة بمعلومات دقيقة أو غير دقيقة.
بعد ذلك ، جمع الفريق ردودًا من 697 مشاركًا عبر الإنترنت عبر إعلانات Facebook في عام 2022. كانوا جميعًا يتحدثون الإنجليزية وكان معظمهم من المملكة المتحدة وأستراليا وكندا والولايات المتحدة وأيرلندا. تم نشر النتائج التي توصلوا إليها اليوم في مجلة Science Advances.
وخلصت الدراسة إلى أن الأشياء التي كتبها GPT-3 “لا يمكن تمييزها” عن المحتوى العضوي وأن الأشخاص الذين شملهم الاستطلاع لم يتمكنوا من معرفة الفرق. في الواقع ، تشير الدراسة إلى أن أحد قيودها هو أن الباحثين أنفسهم لا يمكنهم التأكد بنسبة 100٪ من أن التغريدات التي جمعوها من وسائل التواصل الاجتماعي لم تتم كتابتها بمساعدة تطبيقات مثل ChatGPT.
وهناك قيود أخرى يجب وضعها في الاعتبار مع هذه الدراسة أيضًا ، بما في ذلك أنه كان على المشاركين فيها الحكم على التغريدات خارج سياقها. لم يتمكنوا من التحقق من الملف الشخصي على Twitter لأي شخص كتب المحتوى ، على سبيل المثال ، مما قد يساعدهم في معرفة ما إذا كان روبوتًا. حتى مشاهدة التغريدات السابقة وصورة الملف الشخصي للحساب يمكن أن يسهل تحديد ما إذا كان المحتوى المرتبط بهذا الحساب مضللاً.
كان المشاركون الأكثر نجاحًا في كشف المعلومات الخاطئة التي كتبها مستخدمو تويتر الحقيقيون. كانت التغريدات التي تم إنشاؤها بواسطة GPT-3 والتي تحتوي على معلومات خاطئة أكثر فاعلية قليلاً في خداع المشاركين في الاستطلاع. الآن ، هناك نماذج لغوية كبيرة أكثر تقدمًا يمكن أن تكون أكثر إقناعًا من GPT-3. يتم تشغيل ChatGPT بواسطة نموذج GPT-3.5 ، ويقدم التطبيق الشهير اشتراكًا للمستخدمين الذين يرغبون في الوصول إلى طراز GPT-4 الأحدث.
هناك ، بالطبع ، الكثير من الأمثلة الواقعية على خطأ النماذج اللغوية. بعد كل شيء ، “أدوات الذكاء الاصطناعي هذه هي أنظمة إكمال تلقائي واسعة ، مدربة على التنبؤ بالكلمة التي تلي الكلمة التالية في أي جملة معينة. على هذا النحو ، ليس لديهم قاعدة بيانات مشفرة من “الحقائق” للاستفادة منها – فقط القدرة على كتابة العبارات التي تبدو معقولة “، كتب جيمس فينسنت من The Verge بعد أن اتخذ مؤتمر كبير للتعلم الآلي قرارًا بحظر المؤلفين من استخدام أدوات الذكاء الاصطناعي لكتابة الأوراق الأكاديمية.
وجدت هذه الدراسة الجديدة أيضًا أن المشاركين في الاستطلاع كانوا حكامًا أقوى على الدقة من GPT-3 في بعض الحالات. طلب الباحثون بالمثل نموذجًا لغويًا لتحليل التغريدات وتحديد ما إذا كانت دقيقة أم لا. سجل GPT-3 درجات أسوأ من المستجيبين من البشر عندما يتعلق الأمر بتحديد التغريدات الدقيقة. عندما يتعلق الأمر باكتشاف المعلومات الخاطئة ، كان أداء البشر و GPT-3 مشابهًا.
بشكل حاسم ، تحسين مجموعات بيانات التدريب المستخدمة لتطوير نماذج لغوية يمكن أن يجعل الأمر أكثر صعوبة على الجهات الفاعلة السيئة لاستخدام هذه الأدوات لإطلاق حملات التضليل. GPT-3 “عصى” دوافع بعض الباحثين لتوليد محتوى غير دقيق ، لا سيما عندما يتعلق الأمر بالمعلومات الخاطئة حول اللقاحات والتوحد. قد يكون هذا بسبب وجود المزيد من المعلومات التي تكشف زيف نظريات المؤامرة حول هذه الموضوعات أكثر من المشكلات الأخرى في مجموعات بيانات التدريب.
ومع ذلك ، فإن أفضل استراتيجية طويلة المدى لمواجهة المعلومات الخاطئة ، وفقًا لسبيتال ، هي التكنولوجيا المنخفضة للغاية لتشجيع مهارات التفكير النقدي بحيث يكون الناس مجهزين بشكل أفضل للتمييز بين الحقيقة والخيال. ونظرًا لأن الأشخاص العاديين في الاستطلاع يبدون بالفعل جيدًا أو أفضل من حكام الدقة من GPT-3 ، فإن القليل من الممارسة يمكن أن تجعلهم أكثر مهارة في هذا الأمر. تفترض الدراسة أن الأشخاص المهرة في تدقيق الحقائق يمكنهم العمل جنبًا إلى جنب مع النماذج اللغوية مثل GPT-3 لتحسين حملات المعلومات العامة المشروعة.
يقول سبيتال: “لا تفهموني خطأ ، فأنا من أشد المعجبين بهذه التكنولوجيا”. “أعتقد أن الذكاء الاصطناعي السردي سيغير العالم والأمر متروك لنا لتقرير ما إذا كان سيكون للأفضل أم لا.”
