ChatGPT пишет код быстро, но неверно
Команда университета Пердью (Purdue University) США, проанализировала ответы ChatGPT и оценила их правильность, последовательность, полноту и краткость решений. Кроме того, ученые также провели лингвистический и эмоциональный анализ ответов.
«Наш анализ показывает, что 52% ответов ChatGPT неверны, а 77% — многословны», — заключила команда. «Тем не менее, ответы ChatGPT по-прежнему выбирают в 39,34% случаев из-за их полноты и четко сформулированного языкового стиля». Среди набора предпочитаемых ответов ChatGPT 77% оказались неверными.
OpenAI признает, что его программное обеспечение «может предоставлять неточную информацию о людях, местах или фактах». Однако пользователям удается распознать только очевидные ошибки чат-бота. Когда ошибку невозможно моментально проверить или необходимы большие усилия, а также дополнительная документация – пользователи зачастую предпочитают доверять искусственному интеллекту.
«Одна из основных причин заключалась в том, насколько подробны ответы ChatGPT. Во многих случаях участники не возражали против них, если они получали полезную информацию из длинных и подробных ответов. Кроме того, двумя другими причинами были положительные эмоции и вежливость ответов».
Иногда, получив явно ошибочный ответ некоторые участники доверяют ему больше чем самим себе, и используют сгенерированный код.
Как объясняют исследователи – грамотные языковые формулировки, полнота ответов и ссылки (возможно на несуществующие исследования) заставляют совершенно неправильные варианты казаться верными.