Как распознать текст, сгенерированный AI?
После сообщений о том, что AI способен ответить на экзаменационные вопросы для выпускников MBA (квалификационная степень магистра в управлении бизнесом) и участия нейросети в судебных спорах, стала очевидной явная потребность в новом инструменте, способном отличать созданный искусственно контент от произведений реально существующих людей.
На последнем курсе Александру из Российского государственного гуманитарного университета стало слишком лень делать диплом. Платить за него студент не захотел, а потому обратился за помощью к ChatGPT. Александр накидал план работы для научного руководителя, а затем по-английски попросил ИИ сгенерировать введение, теорию с цитатами и исследованиями, а также другие главы.
Нейросеть написала за студента диплом, сопроводив его анализом и рекомендациями для реальной компании. Всё, что ему оставалось, это перевести ответы нейросети с английского, проверить данные, отправить научному руководителю и внести правки — вернее, попросить об этом нейросеть. Суммарно, по словам парня, на весь диплом у него ушло 23 часа. Но, что самое интересное, студенту удалось успешно его защитить — комиссия ничего не заподозрила и поставила ему «удовлетворительно».
OpenAI, создатель ChatGPT, выпустила бесплатный веб-инструмент, призванный помочь преподавателям и другим пользователям выяснить, был ли тот или иной фрагмент текста написан человеком или машиной. Компания предупреждает, что инструмент несовершенен, а производительность зависит от того, насколько анализируемый текст похож на типы письма, на которых обучался ChatGPT.
«У него есть как ложные срабатывания, так и ложноотрицательные результаты», — говорят разработчики. Они предупреждают, что для определения авторства документа нельзя полагаться только на выводы нового алгоритма.
Как используют антибот-фильтр? Пользователи копируют фрагмент текста в поле, и система оценивает вероятность того, что текст был сгенерирован системой ИИ. Он предлагает пятибалльную шкалу результатов: очень маловероятно, что это было создано ИИ, маловероятно, неясно, возможно или вероятно. Лучше всего он работает с образцами текста объемом более 1000 слов и с текстами, написанными на английском языке. В случае использования других языков производительность значительно ниже. Также фильтр пока не способен отличить компьютерный код, написанный людьми, от результатов работы искусственного интеллекта. Тем не менее, новый инструмент значительно лучше распознает сгенерированные тексты чем предыдущие антибот-фильтры.