ولی متأسفانه تشخیص اینکه چه میزان از عملکرد گوشی‌ها به هوش مصنوعی ربط دارد، کار بسیار دشواری است. همچنین اگر دقت کنید اکثر پلتفرم‌ها تقریبا از ویژگی‌های مشابه ساخته شده‌اند؛ به همین دلیل تشخیص تفاوت‌های اساسی بین آن‌ها کمی سخت است. بدین منظور اپلیکیشن AnTuTu، بنچمارکی برای سنجش عملکرد هوش مصنوعی طراحی کرده است که به‌واسطه آن می‌توان مقایسه کرد که کدام گوشی‌ها صرفاً از نام AI فقط به‌عنوان واژه‌ای برای تبلیغات استفاده می‌کنند و کدام‌یک واقعاً از قابلیت‌های مبتنی بر هوش مصنوعی بهره می‌برند.
بااین‌حال AnTuTu در وبلاگ خود خاطرنشان می‌سازد که هوش مصنوعی ماهیت بسیار پیچیده‌ای دارد که حتی به‌وسیله بنچمارک‌ها هم نمی‌توان به‌طور کامل عملکرد آن را مورد ارزیابی قرار داد. این بنچمارک شامل دو زیرمجموعه Classification (رده‌بندی) و Object Recognition (تشخیص شی) است.
اولین تست شامل 200 تصویر و دومین تست شامل 600 فریم ویدئویی است. تست اول بر اساس شبکه عصبی Inception V3 و تست دوم بر اساس شبکه عصبی MobileNet SSD طراحی شده است. این تصاویر به کیت توسعه نرم‌افزاری (SDK) که توسط سازنده گوشی هوشمند ارایه شده، ارسال می‌شود و اگر تراشه از الگوریتم‌های هوش مصنوعی پشتیبانی نکند، بنچمارک معیار ارزیابی را TFLite قرار می‌دهد که در صورت عملی شدن این سناریو، نتیجه آن چندان قابل اعتماد نخواهد بود.
نمره نهایی آزمون طبق دو مؤلفه دقت و سرعت تعیین می‌شود، اما اگر دقت فدای سرعت این تست شده باشد، بنچمارک امتیاز پایینی را به گوشی خواهد داد. منطق پشت این قضیه این‌گونه است که مانع تقلب شود و بدین صورت نباشد که گوشی، تصاویر را بسیار سریع و بدون دقت پردازش کرده و به جواب برساند.
AnTuTu اشاره می‌کند که نمره نهایی AI در پلتفرم‌های مختلف، تفاوت زیادی نخواهد داشت؛ چراکه این بنچمارک به‌جای عملکرد کلی سیستم، تنها بر عملکرد هوش مصنوعی تمرکز می‌کند. علاوه بر این، سامسونگ AI SDK یا همان کیت توسعه نرم‌افزاری هوش مصنوعی خود را عرضه نکرده است، درحالی‌که HiSilicon هنوز برای برخی از عملیات‌ها از TFLite استفاده می‌کند؛ بنابراین گوشی‌های سامسونگ امتیاز کمتر از آنچه که باید، خواهند گرفت. این نکته را در نظر داشته باشید که ورژن اندروید نیز در نتایج این آزمون دخیل است؛ چون گوگل در تلاش است تا عملکرد هوش مصنوعی هر نسخه را نسبت به نسخه قبلی بهبود ببخشد.
تست بنچمارک هوش مصنوعی هنوز در مرحله توسعه است، اما شما میتوانید هر زمانی از آن استفاده کنید. این را نیز در نظر داشته باشید که هوش مصنوعی یک مسئله جدید و پیچیده است که با ترکیب سخت‌افزار و نرم‌افزار کار می‌کند و امروزه دیگر نمی‌توان آن را نادیده گرفت.