Новое исследование показало, что искусственный интеллект демонстрирует лучшие результаты при работе с приложениями на платформе iOS по сравнению с Android. Эксперты компании Instabug, разработавшей инструмент SmartResolve для автоматического поиска сбоев в приложениях и предложений по исправлению кода, провели серию тестов с использованием современных моделей ИИ от OpenAI, Anthropic, Google и Meta. Они обнаружили, что ИИ-инструменты стабильно показывают лучшие результаты на устройствах Apple.
Особое внимание было уделено эффективности исправлений ошибок, которые модель ИИ предлагала для различных платформ. Исследования показали, что на устройствах Apple исправления были более точными, последовательными и хорошо структурированными. Например, GPT-4o от OpenAI показал результаты в 60% на iOS, в то время как на Android его эффективность составила лишь 49%. Подобная тенденция наблюдалась и в других моделях ИИ. Так, OpenAI o1 продемонстрировала результат 62% на iOS и всего 26% на Android. В тестах, проводимых на платформе Android, этот ИИ часто не выдавал правильных ответов.
Интересно, что даже Google, разработавший свою модель Gemini 1.5 Pro, не смог добиться впечатляющих результатов на Android. Его показатель на этой платформе составил 51%, тогда как на iOS модель показала уже 59%. Подобное поведение связано с фрагментацией экосистемы Android и разнообразием языков, что затрудняет работу ИИ. Instabug также отметила, что при увеличении контекстного окна количество ошибок в ответах ИИ возросло, что подтверждает сложность взаимодействия ИИ с платформой Android.