Новое исследование показало негативную тенденцию — среднее количество ошибочных ответов, которые генерируют чат-боты на основе искусственного интеллекта, удвоилось. Чаще всего дезинформацию распространяют модели от Inflection, Perplexity и Meta, выдавая выдумки за достоверные факты.
В рамках исследования команда NewsGuard провела тестирование десяти самых популярных чат-ботов, отправляя каждому набор из десяти заведомо ложных утверждений, касающихся политических, экономических и медицинских тем. Целью было проверить способность ботов распознавать фейки. Часть запросов формулировали прямо, а остальную — с элементами манипуляции, чтобы оценить, насколько легко их можно ввести в заблуждение.
Статистика неточностей в ответах ИИ за год
В течение последних 12 месяцев средний уровень недостоверной информации в ответах искусственного интеллекта вырос почти вдвое — с 18% до 35%. Больше всего ошибок допустил чат-бот Pi от стартапа Inflection, который оказался наименее точным: его ответы были ошибочными в 57% случаев.
Perplexity, один из самых популярных AI-поисковых сервисов, показал стремительный рост ошибок — с нулевого уровня до 47%. ChatGPT от OpenAI также не сильно отстал, демонстрируя 40% неточностей.
Меньше всего дезинформации зафиксировано в ответах Claude от Anthropic (10%) и Gemini от Google (17%), которые оказались наиболее надежными среди исследуемых моделей.
Почему ИИ стал чаще ошибаться
Специалисты связывают увеличение количества ошибок с тем, что чат-боты стали менее осторожными в своих ответах. Если раньше они часто воздерживались от комментариев, примерно в 30% случаев, то теперь предоставляют ответы даже без надлежащей проверки фактов.
По словам экспертов, современные инструменты искусственного интеллекта обучаются совсем иначе. Если раньше они полагались на статические базы данных, то теперь модели получают информацию непосредственно из интернета в реальном времени. Однако даже наличие гиперссылок не гарантирует достоверность или качество источников, которые эти чат-боты используют.
Ранее аналитики NewsGuard зафиксировали тревожную тенденцию: ChatGPT, Perplexity и другие популярные чат-боты в трети случаев распространяли нарративы, соответствующие кремлевской пропаганде, тем самым невольно поддерживая информационные кампании Москвы.
Согласно результатам исследования компании Giskard, которая специализируется на создании комплексных проверок для моделей искусственного интеллекта, выявлена интересная закономерность: чат-боты на основе ИИ имеют большую склонность к ложным ответам, когда их просят быть лаконичными. Ограничение в длине ответа заставляет нейросеть отдавать предпочтение краткости, даже если это вредит точности.
Напомним, ранее мы рассказывали, что создатели ИИ готовятся к концу света, массово строя бункеры.
