ChatGPT пишет код быстро, но неверно

Логотип компании
15.08.2023Автор
ChatGPT пишет код быстро, но неверно
Согласно некоторым исследованиям, ChatGPT дает неправильные ответы на вопросы по программированию более чем в половине случаев. При этом бот убедителен, и треть участников принимает его решения как правильные.

Команда университета Пердью (Purdue University) США, проанализировала ответы ChatGPT и оценила их правильность, последовательность, полноту и краткость решений. Кроме того, ученые также провели лингвистический и эмоциональный анализ ответов.

«Наш анализ показывает, что 52% ответов ChatGPT неверны, а 77% — многословны», — заключила команда. «Тем не менее, ответы ChatGPT по-прежнему выбирают в 39,34% случаев из-за их полноты и четко сформулированного языкового стиля». Среди набора предпочитаемых ответов ChatGPT 77% оказались неверными.

OpenAI признает, что его программное обеспечение «может предоставлять неточную информацию о людях, местах или фактах». Однако пользователям удается распознать только очевидные ошибки чат-бота. Когда ошибку невозможно моментально проверить или необходимы большие усилия, а также дополнительная документация – пользователи зачастую предпочитают доверять искусственному интеллекту.

«Одна из основных причин заключалась в том, насколько подробны ответы ChatGPT. Во многих случаях участники не возражали против них, если они получали полезную информацию из длинных и подробных ответов. Кроме того, двумя другими причинами были положительные эмоции и вежливость ответов».

Иногда, получив явно ошибочный ответ некоторые участники доверяют ему больше чем самим себе, и используют сгенерированный код.

Как объясняют исследователи – грамотные языковые формулировки, полнота ответов и ссылки (возможно на несуществующие исследования) заставляют совершенно неправильные варианты казаться верными.

Читайте также
Крупные корпоративные заказчики (в первую очередь ЦОДы), все чаще требуют более продвинутые литий-ионные решения. Причем прежде всего здесь необходимы не сами батареи или батарейные кабинеты, а комплексные масштабируемые системы.

Похожие статьи