تعتزم شركة آبل إدماج روبوت الدردشة الذكي ChatGPT في مساعدها الشخصي سيري، ومن شأن هذا الإدماج أن يمنح المستخدمين العديد من الإمكانيات، ومنها إمكانية طلب تفاصيل حول المحتوى الظاهر في الشاشة من خلال سيري.

وتشبه ميزة تعرّف محتوى الشاشة ميزة “دائرة البحث Circle to Search” من جوجل، التي تتيح للمستخدمين رسم دائرة حول أي عنصر أو تحديده أو تظليله في شاشة الهاتف لتعرّفه والبحث عنه باستخدام محرك البحث جوجل. وقد أتاحت جوجل تلك الميزة في العديد من الأجهزة العاملة بنظام أندرويد على مدار الأشهر الماضية، وأضافت إليها تحسينات مثل دعم الترجمة وتعرّف المقاطع الصوتية ومسح رموز QR والباركود.

وأصبح بإمكان مساعد سيري استخدام ChatGPT للإجابة عن الأسئلة المعقدة، إلى جانب قراءة المحتوى الموجود على شاشة هواتف آيفون أو أجهزة آيباد أو حواسيب ماك. على سبيل المثال: عند مشاهدة مقطع فيديو أو عرض صورة أو تصفح الإنترنت، يمكن الآن توجيه أسئلة إلى ChatGPT عبر سيري بشأن ما هو معروض في الشاشة.

وعند تلقي السؤال، تُرسل لقطة شاشة إلى ChatGPT، الذي يمكنه فهم السياق والإجابة عما يريده المستخدمون. ولحماية الخصوصية، يطلب مساعد سيري إذن المستخدم قبل التقاط لقطة الشاشة، وإرسالها إلى ChatGPT.

وتختلف هذه الميزة عن ميزة الذكاء البصري Visual Intelligence، التي تتيح استخدام الكاميرا للحصول على إجابات للمسائل الرياضية أو معلومات حول العناصر الموجودة في البيئة المحيطة، باستخدام البحث عبر الإنترنت، وهي ميزة متاحة بنحو حصري في هواتف آيفون 16.

ومن الجدير بالذكر أن آبل تعمل أيضًا على تطوير ميزة لفهم محتوى الشاشة باستخدام نماذج الذكاء الاصطناعي الخاصة بها. ومن المتوقع إصدار هذه الميزة في تحديث آخر لنظام iOS 18 في العام المقبل. وستتيح هذه التقنية لسيري فهم السياق واتخاذ الإجراءات استنادًا إلى محتوى الشاشة، مع معالجة كافة البيانات على الجهاز لضمان الخصوصية.

ومن الجدير بالذكر أن تحديث iOS 18.2 الذي تختبره آبل حاليًا يأتي بمزايا متعددة معتمدة على الذكاء الاصطناعي، مثل ميزة توليد الصور Image Playground، وميزة توليد الرموز التعبيرية Genmoji، والبحث البصري في هواتف آيفون 16 وغيرها من المزايا الأخرى.