Об этом сообщает «Politexpert» со ссылкой на The Conversation
Попытка внедрить искусственный интеллект в образовательный процесс не всегда приносит желаемый результат. Учёные, разработавшие чат-бота для юридического курса, столкнулись с рядом проблем, которые поставили под сомнение эффективность ИИ в роли преподавателя. Хотя технология обещала персонализированное обучение, на практике оказалось, что она требует постоянного контроля и не может гарантировать точность.
Исследование проводилось в рамках проекта по демократизации доступа к ИИ-инструментам в образовании. Чат-бот под названием SmartTest использовался в криминалистическом курсе и должен был помогать студентам разбирать правовые ситуации, формировать логическое мышление и давать обратную связь. Однако на деле ИИ оказался склонным к ошибкам, вводящим студентов в заблуждение.
Цель эксперимента и особенности реализации
Целью разработки чат-бота стало стремление протестировать возможности ИИ в контексте реального университетского курса. SmartTest был специально настроен под формат обучения в рамках права, с использованием сократического метода. Программа должна была не просто давать ответы, а подталкивать студентов к размышлениям, задавая наводящие вопросы и уточнения.
Эксперимент состоял из пяти этапов, в которых участвовали группы студентов, изучающих уголовное право. Чат-бот взаимодействовал со студентами через их собственные устройства в рамках учебных сессий. Общение с ботом происходило анонимно и длилось около десяти минут. Все диалоги фиксировались для последующего анализа.
Основные ошибки в работе чат-бота
На первых трёх этапах, где студентам предлагались правовые гипотезы, SmartTest ошибался в 40–54% случаев. Ошибки касались как фактической информации, так и вводящей в заблуждение обратной связи. При переходе к более простым вопросам (на последних двух этапах) уровень ошибок снизился до 6–27%, но даже в этих случаях бот мог сначала подтвердить неправильный ответ, а затем поправить его, вызывая путаницу у обучающихся.
Среди наиболее частых сбоев были:
- неправильная квалификация правовых ситуаций;
- подтверждение заведомо неверных ответов;
- отсутствие последовательности в логике объяснений;
- изменение ответов при идентичных формулировках;
- несогласованность с моделями преподавания курса.
Почему ИИ потребовал больше усилий, чем ожидалось
Создание чат-бота потребовало от команды колоссального труда. Вместо автоматизации процесса обучения преподаватели столкнулись с необходимостью ручной настройки каждой функции. Подготовка к каждому этапу включала составление сценариев, продуманные промпты и постоянную оценку правильности ответов со стороны специалистов.
В ходе работы стало очевидно, что внедрение ИИ не является универсальным решением. Он может помочь в ограниченных ситуациях, но не заменяет преподавателя, особенно в дисциплинах, требующих точности, нюансов и глубоких знаний. Высокий уровень вложений не соответствовал ожидаемой экономии ресурсов.
Почему ИИ не всегда даёт стабильный результат
Даже при одинаковых вводных условиях SmartTest иногда выдавал кардинально разные ответы. Повторное тестирование одних и тех же запросов демонстрировало нестабильность поведения модели. Это стало серьёзным поводом усомниться в её надёжности как инструмента для системного обучения.
Даже при обновлении модели с ChatGPT-4 до более продвинутой версии ChatGPT-4.5 стабильности добиться не удалось. Некоторые новые ответы были ещё менее точными, чем у предыдущей версии. Таким образом, обновление технологий не гарантирует автоматического повышения качества обучения.
Отношение студентов к использованию ИИ
Несмотря на технические недоработки, студенты положительно оценили наличие чат-бота в курсе. Возможность получить мгновенную обратную связь снижала тревожность и повышала уверенность при разборе сложных тем. Однако предпочтение всё равно отдавалось живому общению с преподавателями.
Опрос показал:
- 76% студентов предпочли бы наличие чат-бота, чем его полное отсутствие;
- 27% выбрали ИИ-ответы вместо задержек от преподавателей;
- почти половина студентов предпочли бы подождать, но получить ответ от человека;
- оставшиеся были нейтральны к источнику обратной связи.
Напомним, ранее мы писали о том, что основной барьер для внедрения ИИ в бизнесе — не технологии, а уверенность пользователей.
