ChatGPT неправильно отвечает на 52% вопросов по программной инженерии
Возможность ChatGPT давать ответы на любые вопросы в любое время делает чат-бота удобным ресурсом для ваших информационных потребностей. Но точность чат-бота снова находится под пристальным вниманием, поскольку он не смог правильно ответить на 52% вопросов по разработке программного обеспечения, сообщает портал India Today.
Согласно порталу ZDNET появления чат-ботов с искусственным интеллектом Stack Overflow был популярным ресурсом для программистов, которым требовались советы по их проектам, с моделью вопросов и ответов, аналогичной ChatGPT .
Однако с Stack Overflow приходится ждать, пока кто-нибудь ответит на ваш вопрос, а с ChatGPT — нет.
В результате многие инженеры-программисты и программисты обратились к ChatGPT со своими вопросами. Поскольку не было данных, показывающих, насколько эффективен ChatGPT в ответах на эти типы запросов, новое исследование Университета Пердью изучило этот вопрос.
Исследователи проанализировали ответы ChatGPT на 517 вопросов из Stack Overflow (SO) и обнаружили, что 52% этих ответов были неточными, а 77% были "подробными". Команда также выяснила, что неточные ответы были в значительной степени связаны с тем, что чат-бот AI не понимал концепции, лежащей в основе вопросов.
Несмотря на значительную неточность ответов, результаты показали, что ответы были исчерпывающими в 65% случаев и касались всех аспектов вопроса.
Исследователи добавили, что даже когда ChatGPT действительно понял вопрос, он не смог прийти к решению проблемы, что привело к большему количеству концептуальных ошибок. Команда также поставила под сомнение ограниченность рассуждений инструмента ИИ.
“Во многих случаях мы видели, как ChatGPT давал решение, код или формулу, не предвидя и не задумываясь о результате”, — сообщила группа исследователей IANS.
Для дальнейшего анализа качества ответов ChatGPT исследователи попросили 12 участников с разным уровнем знаний в области программирования высказать свое мнение об ответах.
Хотя участники предпочли ответы Stack Overflow, а не ChatGPT в различных категориях, они не смогли правильно определить неправильные ответы, сгенерированные ChatGPT, в 39,34% случаев.