ВУЗ: Не указан
Категория: Не указан
Дисциплина: Не указана
Добавлен: 07.11.2023
Просмотров: 24
Скачиваний: 1
ВНИМАНИЕ! Если данный файл нарушает Ваши авторские права, то обязательно сообщите нам.
Юрий Викторович Чехович, к.ф.-м.н.
Исполнительный директор компании Антиплагиат
Детектор сгенерированных текстов в системе «Антиплагиат»
Круглый стол
33 Круглый стол стр. 2 из
02.06.2023
Генераторы искусственных текстов существовали и до ChatGPT
33 Круглый стол стр. 3 из
02.06.2023
Генератор искусственных текстов Scigen
33 Круглый стол стр. 4 из
История детектирования машинных текстов
02.06.2023
https://habr.com/ru/companies/antiplagiat/articles/728112/
02.06.2023 33 Круглый стол
Источник изображения: https://pbs.twimg.com/profile_banners/787645202676736000/1476625590/1500x500
стр. 5 из
Насколько ИИ хорош в написании научных и учебных работ?
Насколько ИИ хорош в написании научных и учебных работ?
33 Круглый стол стр. 6 из
Проблемы текстов, созданных искусственно
02.06.2023
Проблемы текстов, сгенерированных ChatGPT и не только:
• «факты» – не факты (требуется проверка всех утверждений)
• «ссылки» – не ссылки (проблемы с достоверностью ссылок)
• проблемы в логике (эффект рыбки Дори)
• и все не так быстро (нужно время, чтобы получить результат)
33 Круглый стол стр. 7 из
Факты – не факты
02.06.2023
ChatGPT:
33 Круглый стол стр. 8 из
Ссылки – не ссылки
02.06.2023
Ссылки на несуществующие произведения в библиографическом списке диплома студента РГГУ
33 Круглый стол стр. 9 из
Проблемы с логикой
02.06.2023
Пример из дипломной работы А. Жадана до корректировки введения
33 Круглый стол стр. 10 из
Проблемы текстов, созданных искусственно
02.06.2023
Проблемы текстов, сгенерированных ChatGPT и не только:
• «факты» – не факты (требуется проверка всех утверждений)
• «ссылки» – не ссылки (проблемы с достоверностью ссылок)
• проблемы в логике (эффект рыбки Дори)
• и все не так быстро (нужно время, чтобы получить результат)
33 Круглый стол стр. 11 из
Проблемы текстов, созданных искусственно
02.06.2023
Проблемы текстов, сгенерированных ChatGPT и не только:
• «факты» – не факты (требуется проверка всех утверждений)
• «ссылки» – не ссылки (проблемы с достоверностью ссылок)
• проблемы в логике (эффект рыбки Дори)
• и все не так быстро (нужно время, чтобы получить результат)
• тексты можно детектировать
33 Круглый стол стр. 12 из
Детектор искусственных текстов
02.06.2023
33 Круглый стол стр. 13 из
Детектор искусственных текстов
02.06.2023
33 Круглый стол стр. 14 из
Оригинальность vs искусственный текст
02.06.2023
Высокая оригинальность работы не означает, что она хорошая!
Работа может быть сгенерирована, перефразирована, быть невнятным бредом!
33 Круглый стол стр. 15 из
Оригинальность vs искусственный текст
02.06.2023
То, что работа сама по себе хорошая, еще не означает, что студент обязан получить хорошую оценку!
33 Круглый стол стр. 16 из
Детектор искусственных текстов
02.06.2023
33 Круглый стол стр. 17 из
02.06.2023
Дори (англ. Dory) — вымышленный персонаж мультсериала «В поисках Немо». The Walt Disney Company
Детектор искусственных текстов
33 Круглый стол стр. 18 из
02.06.2023
Эффект
рыбки
Дори
Дори (англ. Dory) — вымышленный персонаж мультсериала «В поисках Немо». The Walt Disney Company
Детектор искусственных текстов
33 Круглый стол стр. 19 из
02.06.2023
Антиплагиат назвал документ подозрительным
Что делать?
33 Круглый стол стр. 20 из
02.06.2023
Антиплагиат назвал документ подозрительным
Что делать?
Плохие новости: документ нужно прочитать!
33 Круглый стол стр. 21 из
Рекомендации по работе с подозрительными документами
02.06.2023
Проблема заключается в том, что нельзя предоставить
«доказательства» того, что текст искусственный.
Базы данных искусственных текстов не существует.
Ни человек, ни алгоритм не смогут гарантировать, что какой-то текст написан алгоритмом.
ChatGPT «склонен» присваивать авторство.
33 Круглый стол стр. 22 из
ChatGPT «склонен» присваивать авторство
02.06.2023
33 Круглый стол стр. 23 из
ChatGPT «склонен» присваивать авторство
02.06.2023
Настоящий источник цитаты: А.Н. Толстой «Петр Первый»
33 Круглый стол стр. 24 из
Рекомендации по работе с подозрительными документами
02.06.2023
Главный инструментарий – внимательное изучение работы
33 Круглый стол стр. 25 из
02.06.2023
Эффект
рыбки
Дори
Дори (англ. Dory) — персонаж мультсериала «В поисках Немо». The Walt Disney Company. 2003
33 Круглый стол стр. 26 из
02.06.2023
Эффект
рыбки
Дори
Дори (англ. Dory) — персонаж мультсериала «В поисках Немо». The Walt Disney Company. 2003
33 Круглый стол стр. 27 из
Дополнительные меры и профилактика
02.06.2023
• Обсуждение работы
• Проверка того, насколько автор знаком со своим текстом
• Использование обычных поисковиков
• Подготовка квалификационной работы шаг за шагом
• Умение работать с детекторами искусственных текстов, знание их особенностей
Настоящее и ближайшее будущее
33 Круглый стол стр. 28 из
02.06.2023
• Инструменты машинной генерации текстов вышли на уровень, когда их результаты можно воспринимать серьезно
• «Детские болезни» генераторов вылечат
• Общество научится эффективно работать с новыми инструментами
• Можно не опасаться сервисов вида «диплом по одному клику», но…
• Инструменты, помогающие быстро создавать тексты в диалоге с пользователем по задаваемой им структуре – это уже реальность
Что делать?
33 Круглый стол стр. 29 из
02.06.2023
• Принять то, что происходит. Запреты – не выход!
• Менять требования квалификационным работам – формальные признаки качества будут работать все хуже и хуже (закон Гудхарта)
• Разрабатывать формы квалификации, позволяющие отделять личный вклад соискателя от машинного
• Пересматривать требования к квалификации
• Не переоценивать риски и потенциальное влияние технологии
Важно помнить
33 Круглый стол стр. 30 из
02.06.2023
• Генераторы искусственного текста – это алгоритмы, настроенные таким образом, чтобы создавать текст, одновременно обладающий несколькими свойствами:
• релевантен запросу
• похож на «человеческий»
• не похож на другие тексты (по возможности)
• Генераторы искусственных текстов не умеют создавать новое знание, делать логические выводы, предсказывать будущее, управлять бизнесом и т.п.
Важно помнить
33 Круглый стол стр. 31 из
02.06.2023
• Генераторы искусственных текстов не имеют цели захватить мир, разбогатеть, поработить человечество, спровоцировать ядерный конфликт, создать биржевой кризис, изобрести новый вирус…
Важно помнить
33 Круглый стол стр. 32 из
02.06.2023
• Генераторы искусственных текстов не имеют цели захватить мир, разбогатеть, поработить человечество, спровоцировать ядерный конфликт, создать биржевой кризис, изобрести новый вирус…
• Они вообще не имеют никаких целей, кроме генерации текстов, соответствующих запросам пользователя
• Только пользователи могут решить какие ответы получились хорошими, а какие нет
Спасибо за внимание!
Ваши вопросы
Юрий Чехович,
Исполнительный директор компании Антиплагиат, к.ф.-м.н.
chehovich@antiplagiat.ru
+7 495 223 23 84 8 800 777 81 28