Разное

Сгенерированные ИИ научные труды могут быть идентифицированы с точностью более 99 %

Первый запуск чат-бота с искусственным интеллектом ChatGPT произвел фурор во всем мире благодаря его способности создавать тексты и диалоги, похожие на человеческие. Тем не менее, согласно исследованию, опубликованному 7 июня в журнале Cell Reports Physical Science, мы можем отличить чат-ботов от людей по многим контрольным признакам. Основываясь на признаках, исследователи разработали инструмент для идентификации академических научных статей, созданных искусственным интеллектом, с точностью более 99%.

«Мы очень старались создать доступный метод, чтобы даже ученики старших классов без особых усилий могли создать ИИ-детектор для разных типов письма», – говорит первый автор Хизер Десэр, профессор Канзасского университета. «Необходимо заняться написанием ИИ, и людям не нужна степень в области компьютерных наук, чтобы внести свой вклад в эту область».

«Сейчас есть довольно серьезные проблемы с написанием ИИ», – говорит Дезер. – «Одна из самых больших проблем заключается в том, что он собирает текст из многих источников и не имеет никакой проверки на точность — это похоже на игру «Две правды и ложь»».

Несмотря на то, что многие детекторы текста на основе ИИ доступны в Интернете и работают достаточно хорошо, они не были созданы специально для научного текста. Чтобы восполнить этот пробел, команда стремилась создать инструмент с более высокой производительностью именно для этой цели. Они сосредоточились на типе статьи под названием «Перспективы», в которой представлен обзор конкретных тем исследований, написанных учеными. Команда выбрала 64 перспективы и создала 128 статей, сгенерированных ChatGPT, по тем же темам исследований для обучения модели. Когда они сравнили статьи, они обнаружили показатель написания ИИ — предсказуемость.

В отличие от искусственного интеллекта, у людей более сложная структура абзаца, различающаяся количеством предложений и общим количеством слов в абзаце, а также переменной длиной предложения. Предпочтения в знаках препинания и словарном запасе также приветствуются. Например, ученые тяготеют к таким словам, как «однако», «но» и «хотя», в то время как ChatGPT часто использует в письменной форме «другие» и «исследователи». Команда подсчитала 20 характеристик модели, на которые следует обращать внимание.

При тестировании модель показала 100 % точность при отсеивании статей с полной перспективой, созданных искусственным интеллектом, и статей, написанных людьми. Для идентификации отдельных абзацев в статье точность модели составила 92%. Модель исследовательской группы также превзошла доступный на рынке детектор текста AI с большим отрывом в аналогичных тестах.

Далее команда планирует определить область применимости модели. Они хотят протестировать его на более обширных наборах данных и в различных типах академических научных работ. По мере того, как чат-боты с искусственным интеллектом развиваются и становятся все более изощренными, исследователи также хотят знать, выдержит ли их модель.

Первое, что люди хотят знать, когда слышат об исследовании, это: «Могу ли я использовать это, чтобы узнать, действительно ли мои студенты написали свою работу?». Хотя модель хорошо различает ИИ и ученых, Дезер говорит, что она не предназначена для того, чтобы улавливать созданные ИИ студенческие эссе для преподавателей. Однако она отмечает, что люди могут легко копировать свои методы построения моделей для своих целей.

Дополнительная информация: Хизер Десэр, Отличие научного письма от человеческого или ChatGPT с точностью более 99 % с использованием готовых инструментов машинного обучения, Cell Reports Physical Science (2023 г.). DOI: 10.1016/j.xcrp.2023.101426. www.cell.com/cell-reports-phys … 2666-3864(23)00200-X Информация журнала: Cell Reports Physical Science

Источник

Кнопка «Наверх»