ChatGPT пишет код быстро, но неверно

Логотип компании
15.08.2023Автор
ChatGPT пишет код быстро, но неверно
Согласно некоторым исследованиям, ChatGPT дает неправильные ответы на вопросы по программированию более чем в половине случаев. При этом бот убедителен, и треть участников принимает его решения как правильные.

Команда университета Пердью (Purdue University) США, проанализировала ответы ChatGPT и оценила их правильность, последовательность, полноту и краткость решений. Кроме того, ученые также провели лингвистический и эмоциональный анализ ответов.

«Наш анализ показывает, что 52% ответов ChatGPT неверны, а 77% — многословны», — заключила команда. «Тем не менее, ответы ChatGPT по-прежнему выбирают в 39,34% случаев из-за их полноты и четко сформулированного языкового стиля». Среди набора предпочитаемых ответов ChatGPT 77% оказались неверными.

OpenAI признает, что его программное обеспечение «может предоставлять неточную информацию о людях, местах или фактах». Однако пользователям удается распознать только очевидные ошибки чат-бота. Когда ошибку невозможно моментально проверить или необходимы большие усилия, а также дополнительная документация – пользователи зачастую предпочитают доверять искусственному интеллекту.

«Одна из основных причин заключалась в том, насколько подробны ответы ChatGPT. Во многих случаях участники не возражали против них, если они получали полезную информацию из длинных и подробных ответов. Кроме того, двумя другими причинами были положительные эмоции и вежливость ответов».

Иногда, получив явно ошибочный ответ некоторые участники доверяют ему больше чем самим себе, и используют сгенерированный код.

Как объясняют исследователи – грамотные языковые формулировки, полнота ответов и ссылки (возможно на несуществующие исследования) заставляют совершенно неправильные варианты казаться верными.

Читайте также
После падения в 2023 году мировой рынок микроэлектроники демонстрирует устойчивый рост, опираясь на государственную поддержку и высокие инвестиции в технологии. В России, в отличие от мирового тренда, драйвером роста становится активное участие государства и национальные программы, направленные на локализацию производства. IT-World изучил, какие факторы и вызовы формируют микроэлектронную индустрию сегодня и как развивается ее потенциал.

Похожие статьи