Как видно на графике, искусственный интеллект — от ChatGPT до Gemini — превосходит человека по эффективности в ряде технических задач.
Единственное, в чем ИИ-системы все еще не догнали людей, — это мультимодальное понимание и рассуждение, которые подразумевают обработку и рассуждение в различных форматах (изображения, графики, диаграммы).
В 2024 году OpenAI o1 набрала 78,2% по MMMU — тесту, который оценивает ИИ по многопрофильным задачам, требующим знаний предмета на уровне колледжа. Это всего на 4,4 процентных пункта ниже человеческого показателя в 82,6%. У o1 также один из самых низких показателей галлюцинаций среди всех ИИ-моделей. Это значительный скачок в сравнении с концом 2023 года — тогда Google Gemini набрал всего 59,4%, что свидетельствует о быстром росте производительности ИИ в технических задачах.
