Инструменты ИИ в большинстве случаев не справляются с базовыми финансовыми задачами

Компания Vals AI создала собственный набор из более чем 500 вопросов совместно с крупным банком, чтобы оценить ключевые навыки, включая маркетинговый анализ и прогнозирование, пишет The Washington Post. Большинство протестированных ИИ-моделей с трудом справлялись с типичными задачами, такими как поиск данных в EDGAR – общедоступной базе документов Комиссии по ценным бумагам и биржам, на которую регулярно опираются аналитики, инвесторы, журналисты и трейдеры.

Последняя модель OpenAI под названием o3, использующая метод "самообсуждения" для повышения точности ответов на сложные запросы, показала средний результат в 48,3% точности, однако стоимость одного ответа составила $3,69. Аналогичная модель от Anthropic – Claude 3.7 Sonnet (Thinking) – продемонстрировала немного более низкую точность в 44,1%, но при этом оказалась гораздо экономичнее – всего $1,05 за вопрос. В то же время открытая ИИ-модель Llama от Meta показала особенно слабые результаты: все три её версии набрали в среднем менее 10% точности.

Meta отказалась комментировать результаты отчёта Vals AI, а OpenAI и Anthropic не ответили на запросы о предоставлении комментариев.

Согласно анализу Vals AI, производительность моделей резко снижалась по мере усложнения задач. В частности, десять моделей не смогли ответить ни на один вопрос, где требовалось выявить закономерности в повторяющихся финансовых отчётах одной компании – например, определить долю доходов YouTube в общем доходе материнской компании Alphabet с 2021 по 2024 год.

В целом, как показал анализ (включавший также выполнение тех же заданий людьми-подрядчиками), ИИ-модели справлялись лучше всего с простыми задачами по извлечению количественной и качественной информации – теми, что несложны по сути, но требуют значительных временных затрат при ручной обработке.