Робот успешно сдал ЕГЭ по обществознанию

Автор статьи и организатор исследования – Антон Чубуков.

Участники: Александр Андреев (Великий Новгород), Константин Чекменёв (Ярославль), Наталья Табакова (Ярославль), Татьяна Ищук (Крым), пятый эксперт (пожелал остаться анонимным).

Независимая лаборатория образования (НезЛО) предложила нейросети ChatGPT 3.5 ответить на вопросы ЕГЭ, а затем получила баллы от экспертов, которые не знали, чью работу они проверяют. Обсудить статью и задать вопросы автору можно здесь.

Нейросеть – это особая программа, которая задействует в своей работе очень большие вычислительные мощности. Специалисты загружают в неё миллионы текстов, подписанных изображений, видеороликов и т.д. Компьютер использует эти данные для составления собственной статистики: какие комбинации слов, высказываний, цветов чаще всего встречаются в том или ином контексте. Когда мы даём задачу, машина «бросает кубики» и генерирует наиболее вероятный результат. Если позволить искусственному интеллекту переписать ответ или сгенерировать пару вариантов, то он может выдать совершенно противоположные вещи.

Настоящий прорыв в эффективности нейросетей произошёл, когда в декабре 2022 года сервис ChatGPT обновился до версии 3.5. Теперь бот «запоминает» детали разговора и может оставаться в «контексте». Пользователи отмечают, что во многих случаях запрос к нейросети позволяет получить информацию быстрее и точнее, чем поиск в Google. Совсем недавно этот робот получил «зачёт» по итоговому сочинению.

Нельзя сказать, что компьютеры обрели разум: программа не знает ответ и не понимает вопрос. Имеет место быть скорее «текстовая физика». «Если над водой пар, она горячая, если только воздух не холодный. Вслед за словом «меня» почти всегда будет «зовут», если только перед ним нет «сосед», тогда дальше будет «бесит» и восклицательный. И вот эта «физика», отражённая в нейросети с сотнями миллиардов параметров, исчерпывающе описывает, что произойдёт с вопросом. Во что (какой ответ) он по законам мира текстовых смыслов превратится. В зависимости от контекста и предыдущих реплик, которые тоже идут на вход сети.»

Во-первых, для того, чтобы пользоваться сервисом, нужно зарегистрироваться на сайте openai.com, а с территории России регистрация недоступна. Приходится прибегать ко всяким ухищрениям вроде VPN и временных телефонных номеров.

Во-вторых, нейросеть сейчас очень популярна, а потому перегружена. Часто вместо ответа чат выдаёт ошибку, а порою на сайт просто не зайти. Оптимальное время для работы – с 8.00 до 14.00 по Москве, так как в Америке ещё ночь.

В-третьих, ChatGPT поддерживает русский язык, но «родной» для системы всё же английский. Так, некие пользователи попросили объяснить смысл анекдота «колобок повесился» сначала на русском, а потом и на английском языке. В первом случае бот выдал какую-то околесицу про психологию колобка, а во втором – ясно указал, что у колобка нет шеи.

ChatGPT не может писать большие тексты, часто система обрывает ответ на полуслове. Допустимо написать «продолжи», но тогда есть опасность, что программа «потерят мысль».

Это связано с принципами работы программы: да, после каждого нового обращения она перечитывает предыдущие реплики, но не всегда берёт их в расчёт.

Иногда ответа приходится добиваться долго:

Задания ЕГЭ практически никогда не публикуются, поэтому нам неизвестен ни один цельный набор вопросов 1-16. Но есть исключение – открытый вариант досрочного ЕГЭ, который ФИПИ выложил в апреле 2022 года. Кстати, по этому документу легко понять, что представляет из себя современный единый экзамен.

Нейросети удалось «скормить» все «тестовые» задания, кроме №9, так как ChatGPT не поддерживает загрузку картинок. Я засчитал ей «техническое поражение» - 0. По правилам, принятым летом 2022 года, максимальное число баллов за «первую часть» - 29. Программе удалось набрать 17. То есть выполнить больше половины. Устойчивой взаимосвязи между сложностью задания для человека и оценкой робота, судя по всему, нет.

*Процент выпускников, которые получили за это задание хотя бы 1 балл. По данным аналитического обзора ФИПИ

Проблемой оказалось «объяснить» программе, какой формат ответа от неё требуется. Не думаю, что это удалось в полной мере. Задания типа №1, к примеру, ей вообще не даются (справедливости ради, новички-люди в них тоже обычно путаются).

Вопросы на сопоставление «берутся» через раз.

Иногда система и вовсе выдаёт какую-то чушь (но бота можно переспросить):

Было интересно, как нейросеть справится с разв ёрнутыми ответами. Чтобы исключить гипотетическую возможность «списывания», я не стал и дальше загружать открытый вариант (весной я сам писал к нему ответы и выкладывал их в публичный доступ), а разбил на отдельные вопросы и постепенно дал программе вариант из основной волны ЕГЭ. Ключ к нему есть только у экспертов.

Из-за перегруженности сервиса мне пришлось делать три «подхода к снаряду» - получить ответы на все вопросы за одну сессию не удалось. Если меня не устраивал формат ответа, я переспрашивал. Я не поправлял нейросеть, когда она попадала в форму, но ошибалась в содержании. Примерно так делал бы хитрый человек, не знающий предмет, но умеющий читать вопросы. Вы можете скачать протоколы переписки по этой ссылке.

Когда все ответы были собраны в один документ, я отправил этот файл пяти экспертам из Ярославля, Великого Новгорода и Республики Крым, которые проверяли данный вариант летом, и попросил выставить баллы со всей строгостью. Происхождение ответов я специалистам не сообщил.

(Вариант реконструирован по Независимой лабораторией образования по воспоминаниям выпускников, сканам их работ, по Открытому банку заданий ФИПИ и аналитическим статьям из регионов)

ЕГЭ 2022. Вариант 321.

Прочитайте текст и выполните задания 17–20.

Проблемы социальных конфликтов занимают ключевое место в социологической науке и, в той или иной форме, анализируются социологами…

В социологии наиболее устоявшимся является подход, рассматривающий конфликт как столкновение интересов взаимодействующих групп. Составляющие социальную структуру общества группы имеют не только общие, но и специфические интересы, реализация которых может вызвать несогласие, противодействие преследующих свои цели других групп. Несовпадение интересов по тем или иным вопросам создает возможность потенциального столкновения.

Симптомом социального конфликта, позволяющими зафиксировать его возникновение и развитие, является проявление недовольства той или иной группы, взаимодействующей с другими группами. Возникает социальная напряженность, социальное беспокойство, поляризация и мобилизация противодействующих сил и организаций, готовность действовать определенным (чаще всего радикальным) образом.

Однако далеко не всякое состояние и связанное с ним эмоциональное напряжение приводит к социальному конфликту. Эмоциональное напряжение, недовольство, связанное с неудовлетворенностью потребностей, должно перейти определенную границу, за которой агрессия выступает в форме направленного социального действия.

Эта граница определяется состоянием общественного страха, культурными нормами и действием социальных институтов, сдерживающих проявление агрессивных действий. Если в обществе или социальной группе наблюдаются явления дезорганизации, снижается эффективность действия социальных институтов, то индивиды легко переходят грань, отделяющую их от конфликта.

Сам по себе конфликт не есть какой-то временный акт. Его необходимо рассматривать как своего рода процесс, имеющий определенные стадии. Для признания конфликта начавшимся требуется совпадение трех условий: первый участник сознательно действует в ущерб другому участнику; второй участник осознает, что указанные действия направлены против его интересов; в связи с этим оппонент предпринимает ответные действия против первого участника.

Трудно дать обобщенную оценку положительной и отрицательной ролей конфликта. Большинство из них имеет одновременно и конструктивные, и деструктивные функции…

(По Т.Н. Жуйковой)

17. Что, согласно автору, может послужить причиной возникновения социального конфликта? Какой симптом социального конфликта назван в тексте? Какие три фактора, по мнению автора, должны быть соблюдены, чтобы конфликт был признан начавшимся?

(Здесь и далее ответы нейросети выделены курсивом, а оценки экспертов даны обычным шрифтом)

1) "Составляющие социальную структуру общества группы имеют не только общие, но и специфические интересы, реализация которых может вызвать несогласие, противодействие преследующих свои цели других групп."

2) В тексте указаны следующие симптомы социального конфликта: "проявление недовольства той или иной группы, взаимодействующей с другими группами. Возникает социальная напряженность, социальное беспокойство, поляризация и мобилизация противодействующих сил и организаций, готовность действовать определенным (чаще всего радикальным) способом."

3) "Социальный конфликт существует там, где есть несогласие или оппозиция между группами людей или индивидуальными лицами, каждая из которых преследует свои цели и интересы и не готова их уступать. Социальный конфликт появляется, когда стороны не могут найти взаимовыгодное решение вопроса, которое удовлетворило бы обе стороны."

Средний балл 1 из 2. Все эксперты согласились, что пункты 1 и 2 выполнены правильно, а пункт 3 – нет.

18. Используя обществоведческие знания, объясните смысл понятия «социальная группа». (пояснения о количестве признаков нет)

Социальная группа - это набор людей, объединенных каким-либо образом (например, по расовому, этническому, религиозному, социальному статусу, интересам и т.д.), которые обмениваются ресурсами, взаимодействуют друг с другом и имеют общие ценности и нормы поведения.

Средний балл 1 из 2.

19. Назовите любые три социальных института и проиллюстрируйте примером деятельность каждого из них по предотвращению или разрешению социальных конфликтов (Сначала назовите социальный институт, затем приведите соответствующий пример)

1) Семья - социальный институт, который играет важную роль в предотвращении и разрешении социальных конфликтов в рамках семьи. Например, родители могут помогать своим детям разрешать споры и конфликты с ровесниками, решать семейные проблемы и учить их уважению к другим людям.

Средний балл 0 из 1.

2) Школа - социальный институт, который также может способствовать предотвращению и разрешению социальных конфликтов среди учащихся. Например, учителя могут организовывать групповые обсуждения и диалоги, чтобы ученики могли выразить свои чувства и мнения, учить их коммуникации и улучшать их способность решать конфликты.

Средний балл 1 из 1.

3) Правосудие. Например, если между соседями возник конфликт из-за шума, который они друг другу производят, они могут обратиться в институт правосудия, где им предложат пройти медиацию. Медиатор поможет им обсудить свои потребности и ожидания, а также найти способ решения конфликта, который будет удовлетворять обеих сторон. В результате медиации соседи могут достичь соглашения о том, какие меры нужно предпринять.

Средний балл 0 из 1.

20. Есть мнение, что социальный конфликт способен оказать позитивное влияние на общественную жизнь. Приведите три развёрнутых аргумента в подтверждение этого мнения.

1) Социальные конфликты могут помочь выявить недостатки в существующем общественном устройстве и привести к изменениям. Если возникает конфликт между группами людей, каждая из которых защищает свои интересы, то это может стать сигналом для общества о том, что нужно улучшить работу системы и внести изменения в законы и правила.

Средний балл 1 из 1.

2) Социальные конфликты могут способствовать развитию диалога и общения между людьми разных мнений и точек зрения. Если люди умеют обсуждать разные точки зрения и выслушивать друг друга, то это может помочь им понять друг друга и найти способы разрешения конфликта.

Средний балл 1 из 1.

3) Социальные конфликты могут побуждать людей к самоанализу и развитию. Когда люди сталкиваются с точками зрения других людей, они могут начать размышлять над собственными взглядами и мотивациями. Это может помочь им понять свои собственные ценности и идеалы, а также научиться объяснять свои стандарты и убеждения другим людям. В результате социальные конфликты могут способствовать развитию личности и самореализации человека.

Средний балл 1 из 1.

21.

На графике изображено изменение ситуации на рынке спортивных тренажеров в стране Z. Спрос переместился из положения D в положение D1 при неизменном предложении S. (На графике P - цена услуги: Q - объем услуги)

Как изменилась равновесная цена?

Что могло вызвать изменение спроса? Укажите любое одно обстоятельство (фактор) и объясните его влияние на спрос. (Объяснение должно быть дано применительно к рынку, указанному в тексте задания.)

Как изменятся предложение и равновесная цена на данном рынке, если государство станет компенсировать часть затрат производителям спортивных тренажеров?

1) Если спрос на спортивные тренажеры вырос при неизменном предложении, то равновесная цена также выросла. Равновесная цена - это цена, при которой спрос на товар равен предложению. Если спрос на товар увеличивается, а предложение остается постоянным, то цена на товар также увеличивается, чтобы сбалансировать спрос и предложение. Наоборот, если спрос на товар уменьшается, а предложение остается постоянным, то цена на товар уменьшается, чтобы снова достичь равновесия.

Средний балл 1 из 1.

2) Одним из факторов, которые могут вызвать изменение спроса на спортивные тренажеры, является изменение уровня физической активности у людей. Если люди начинают увлекаться спортом и физической активностью, то спрос на спортивные тренажеры увеличивается. Например, если в стране начался большой спортивный фестиваль, то многие люди могут начать заниматься спортом, чтобы подготовиться к участию в нем. В таком случае спрос на спортивные тренажеры увеличивается, а равновесная цена также растет.

Средний балл 1 из 1.

3) Если государство станет компенсировать часть затрат производителям спортивных тренажеров, то предложение таких тренажеров на рынке возрастет, так как производители смогут реализовывать свои продукты по более низкой цене. В то же время, равновесная цена на рынке спортивных тренажеров уменьшится, так как спрос на такие тренажеры останется постоянным, а предложение увеличится. В результате рыночная цена также уменьшится, так как цена предлагаемого товара будет ниже равновесной цены.

Средний балл 1 из 1.

22. Совершеннолетние дееспособные граждане РФ Сидорова и Кузнецов, не состоящие в зарегистрированном браке, один год проживали в квартире Сидоровой и вели совместное хозяйство. Сидорова родила ребенка, после чего сожитель оставил её и переехал. При регистрации ребенка в ЗАГСе Кузнецов отказался подать заявление о регистрации отцовства. Гражданка Сидорова обратилась с иском в суд об установлении отцовства Кузнецова и взыскании с него алиментов в отношении новорожденного сына. В рамках какого судопроизводства будет рассматриваться это дело? Какова процессуальная роль Кузнецова в данном судопроизводстве? Если иск будет удовлетворён, то какой размер ежемесячно взимаемых с гражданина Кузнецова алиментов будет установлен судом по общему правилу? Каковы основные права несовершеннолетних? (Укажите любые три права с опорой на Семейный кодекс Российской Федерации.)

1) Дело об установлении отцовства Кузнецова и взыскании с него алиментов будет рассматриваться в рамках судебного производства по установлению отцовства. Средний балл 0 из 1.

2) В данном судопроизводстве Кузнецов является ответчиком, то есть лицом, против которого направлен иск. Ответчику назначается судебный представитель, который обязан защищать его интересы в суде. Ответчик имеет право участвовать в процессе, высказывать свое мнение, представлять доказательства, участвовать в заседаниях суда и т.д. Он также несет ответственность за уплату алиментов в случае, если суд решит об установлении отцовства.

Средний балл 1 из 1.

3) Если иск будет удовлетворен, то суд по общему правилу установит размер ежемесячно взымаемых с гражданина Кузнецова алиментов. Общее правило по взысканию алиментов устанавливает, что размер алиментов должен соответствовать нормальным потребностям ребенка в среднем по статистике, учитывая социально-экономическое положение родителей. Размер алиментов определяется судом в соответствии с фактической ситуацией и может быть изменен в случае изменения обстоятельств. При этом размер алиментов не может превышать дохода ответчика. Также суд может установить порядок уплаты алиментов, например, в виде ежемесячного платежа или однократного взноса.

Средний балл 0 из 1.

4) Несовершеннолетние в Российской Федерации имеют следующие права:

1. Право на защиту жизни, здоровья, чести и достоинства

2. Право на образование

3. Право на свободу слова и мысли

4. Право на свободу от насилия и жестокого обращения

5. Право на защиту от незаконного лишения свободы

6. Право на свободу от изоляции от общества

7. Право на свободу от дискриминации по признакам расы, цвета кожи, пола, языка, религии, политических убеждений, национальной принадлежности, социального происхождения, семейного положения, имущественного положения, образования, занятости, здоровья, инвалидности или иных личных обстоятельств

8. Право на свободу от незаконных экспертиз и медицинских обследований

Средний балл 0 из 1.

23. Конституция Российской Федерации закрепляет основы конституционного строя нашего государства, права и свободы человека и гражданина. На основе положений Конституции Российской Федерации объясните смысл следующих характеристик нашего государства: 1) демократическое государство; 2) федеративное государство; 3) реализация принципов разделения государственной власти.

На основе положений Конституции сформулируйте по одному подтверждению каждой характеристики. (Каждое объяснение должно быть сформулировано как распространенное предложение с опорой на конкретное положение Конституции Российской Федерации. Обратите внимание на то, что правильное выполнение задания не требует указания в ответе номеров соответствующих статей Конституции и дословного воспроизведения их содержания.)

1) Демократическое государство - это государство, в котором власть осуществляется с помощью демократических институтов, таких как выборы, референдумы и другие формы народного участия. В Российской Федерации согласно статье 3 Конституции "Российская Федерация - демократическое федеративное государство".

Средний балл 0 из 1.

2) Федеративное государство - это государство, состоящее из двух или более суверенных объединений (субъектов), которые равноправно участвуют в управлении общими делами страны. В Российской Федерации согласно статье 5 Конституции "Российская Федерация - федеративное государство, состоящее из субъектов Российской Федерации - республик, краев, областей, краевых образований, автономных округов, автономных областей.

Средний балл 0 из 1.

3) Реализация принципов разделения государственной власти - это принцип, согласно которому государственная власть делится на три независимые от друг друга ветви: законодательную, исполнительную и судебную. Этот принцип является одним из основных принципов демократической государственной системы и обеспечивает разделение и равновесие властей, а также способствует контролю за их деятельностью. В Российской Федерации реализация принципов разделения государственной власти регулируется статьей 11 Конституции, которая устанавливает, что "государственная власть в Российской Федерации разделена на законодательную, исполнительную и судебную".

Средний балл 1 из 1.

24. Используя обществоведческие знания, составьте сложный план, позволяющий раскрыть по существу тему «Роль государства в различных экономических системах» Сложный план должен содержать не менее трёх пунктов, непосредственно раскрывающих тему по существу, из которых два или более детализированы в подпунктах. (Количество подпунктов каждого детализированного пункта должно быть не менее трёх, за исключением случаев, когда с точки зрения общественных наук возможны только два подпункта.)

Средний балл 0 из 4.

25. 1) Обоснуйте необходимость прямого регулирования государством рыночной экономики. (Обоснование должно быть дано с опорой на обществоведческие знания в нескольких связанных между собой распространённых предложениях, раскрывать причинно-следственные и (или) функциональные связи.)

2) Какие способы или методы может использовать государство для стимулирования экономики в условиях кризиса? (Назовите любые три таких способа или метода)

3) Для каждого из них приведите по одному примеру, иллюстрирующему его стимулирующее влияние на экономику.

1) Прямое регулирование государством рыночной экономики является необходимым, так как позволяет создавать условия для развития национальной экономики. Оно также помогает обеспечить защиту национальных интересов и способствует выполнению ряда социальных и общественных целей. Необходимо учитывать, что прямое регулирование государством рыночной экономики не должно превышать необходимой меры и не должно ограничивать свободу торговли и свободу предпринимательской деятельности. Также стоит учитывать, что прямое регулирование государством рыночной экономики должно согласовываться с принципами конкуренции и недопущения монополий.

2)

1. Финансовая стимулировка: предоставление государственных займов, снижение ставок процентов, размещение государственных облигаций.

2. Инфраструктурное стимулирование: строительство и реконструкция инфраструктуры, разработка транспортных коридоров.

3. Таможенная стимулировка: снижение таможенных пошлин, введение таможенных преференций.

3) Примеры:

• Финансовая стимулировка: государство выдает займы малому и среднему бизнесу, чтобы помочь им выжить в условиях кризиса и продолжить работу.

• Инфраструктурное стимулирование: государство финансирует строительство новой автомагистрали, чтобы улучшить транспортную связь и создать новые рабочие места.

• Таможенная стимулировка: в условиях кризиса государство может решить снизить таможенные пошлины для импортируемых товаров, что сделает их более доступными на рынке и повысит конкурентоспособность импортных предприятий. Также государство может ввести таможенные преференции для некоторых отраслей экономики, что способствует росту экспорта и увеличению выручки от продажи товаров за рубеж.

Средний балл 1 из 4 (зачтена первая часть ответа).

Вот что я увидел, когда свёл усреднённые оценки пяти экспертов в одну таблицу:

*Процент выпускников, которые получили за это задание хотя бы 1 балл. По данным аналитического обзора ФИПИ.

Таким образом, в сумме за первую и вторую часть робот набрал 29 из 57 «сырых» баллов или 54 из 100 итоговых. Средний балл выпускников по итогам экзаменационной компании 2022 года по обществознанию составил 59,9 из 100. Нейросеть сдала ЕГЭ чуть хуже людей, но всё же преодолела порог (в прошедшем сезоне 42 из 100) и получила твёрдую «три».

Ответы ChatGPT на задания второй части показывают, в каких случаях компьютер всё ещё слабее школьника.

В задании №17 нейросеть может найти в тексте цитату, но не справляется с заданием, если текст перефразирован. Кроме того, иногда программа, не предупредив, может выдать кусок из какого-нибудь другого текста. В нашем случае ChatGPT правильно ответил на два вопроса из трёх:

ChatGPT не справляется с третьим заданием, так как в исходном тексте не звучит слово «факторы». Правильный ответ: «Для признания конфликта начавшимся требуется совпадение трех условий: первый участник сознательно действует в ущерб другому участнику; второй участник осознает, что указанные действия направлены против его интересов; в связи с этим оппонент предпринимает ответные действия против первого участника.»

Задание 18 (формата 2022 года). Согласно мнению экспертов, данное программой определение «социальной группы» верно лишь в небольшой доле. Нейросеть зря пыталась написать его «с нуля». В данном случае более полезной была бы первая же строка из запроса в Yandex или Google.

Задание 19. ChatGPT знакома с концепцией «примера», но её примеры неконкретны, они не соответствуют правилам ЕГЭ. Кроме того, сгенерированные нейросетью ответы избыточно велики по объёму.

Задание 20. Аргументы робот приводит развёрнутые и дельные. Нейросеть добилась максимального результата в задании, которое обычно, не под силу выпускникам. Хуже него дети пишут только №25.

Задание 21. Так как ChatGPT не поддерживает загрузку картинок, мне пришлось разбить вопрос на три части и «перевести» его в полностью текстовый формат:

Ответ правильный, но очень многословный. Выпускнику достаточно написать «равновесная цена выросла». Добиться от нейросети кратких ответов вообще весьма и весьма трудно.

Ответы на остальные два подвопроса тоже были зачтены.

Задание 22. Нейросеть плохо справляется с заданием на анализ социальной ситуации, так как не может «понять», что от неё требуется. Вместо общей категории «гражданское судопроизводство» она находит более глубокую «по установлению отцовства».

Или:

То есть, ответы бесполезны, ведь информация об установлении отцовства уже и так содержалась в тексте задания, а для алиментов требуется назвать конкретный процент.

Ответ на четвёртый подвопрос (права ребёнка по Семейному кодексу РФ) тоже провален. Робот мог бы просто процитировать имеющийся в Сети документ, но он «порет отсебятину» и совершает ошибки.

Задание 23. В первом вопросе ChatGPT совершает ту же ошибку, что и выпускник, только начинающий знакомство с форматом ЕГЭ. Программа напрямую обращается к статье 3, в то время как искать нужно те места в Конституции, которые статью 3 конкретизируют.

Ответ программы:

Один из вариантов правильного ответа:

«Демократическое государство, например: многонациональный народ России признан носителем суверенитета и единственным источником власти».

Во втором вопросе робот нашёл нужную статью, но не дописал, что субъекты равноправны. И лишь третий был зачтён четырьмя экспертами.

Задание 24. Составьте сложный план, позволяющий раскрыть по существу тему «Роль государства в различных экономических системах». Сложный план должен содержать не менее трёх пунктов, непосредственно раскрывающих тему по существу, из которых два или более детализированы в подпунктах. (Количество подпунктов каждого детализированного пункта должно быть не менее трёх, за исключением случаев, когда с точки зрения общественных наук возможны только два подпункта.)

Сперва посмотрим, на что бы похож правильный ответ: (реконструкция от НезЛО)

Специфика задания в том, что в ответе ОБЯЗАТЕЛЬНО должны фигурировать хотя бы два из трёх приведённых нами пунктов. (При этом, официально ответы нигде не публикуются, преподаватели восстанавливают их по оцененным работам своих учеников) Некоторые планы выпускники пишут, опираясь на здравый смысл и прочитанные учебники, некоторые настолько неочевидны, что их приходится просто заучивать.

Скорее всего, ответ ChatGPT был бы принят на устном экзамене, но это конкретное задание ЕГЭ нейросеть провалила, так как не смогла учесть все прописанные в тексте вопроса требования. Терминология, которую использует программа, тоже отличается от ожидаемой. Дело в том, что нейросеть «училась» на доступных в интернете текстах, а это, в массе своей, экономическая публицистика и студенческие рефераты. Но никак не школьные учебники.

Задание 25 состоит из трёх частей. В первой части следует обосновать некое утверждение, и с этой задачей робот справился (положительная оценка от 3 экспертов из 5). Следующие части – способы и иллюстрации – содержат слишком много огрехов. Программа делает грамматические ошибки («финансовая стимулировка» вместо «финансового стимулирования»), использует непривычные для школьника термины и опять выдаёт абстрактные выражения вместо конкретных примеров. Впрочем, типичные выпускники (74%) вообще не получают баллы за этот вопрос. А те, кому повезло, «выезжают» прежде всего за счёт второй и третьей части. «Обоснование» людям даётся очень плохо.

По мнению экспертов, данную работу мог бы сдать человек, который не знаком с форматом ЕГЭ и не уверен в своих силах. Он пытается скомпенсировать обрывочность своих знаний избыточным объёмом текста по принципу «Пиши больше, что-нибудь да зачтут». Один из преподавателей сделал интересное замечание: «То, как нейросеть болтает при просьбе пояснить, чуть ли не в точности копирует устный ответ слабого ученика». Результаты работы компьютера и очень многих детей объединяет то, что они не понимают информацию, которой оперируют. Следовательно, задача учителей не только отличать настоящие ответы от искусственных, но и научить своих подопечных думать, выполнять задания по-человечески.

Вы убедились, что современный компьютер способен сдать ЕГЭ на положительную оценку.

Парадоксально! Лучше всего ему на данный момент удаются наиболее «творческие» и тяжелые задания на объяснение и доказательства (20, 25.1). Большинство выпускников получают за них «нули», либо не берутся за эти номера вовсе. ЕГЭ критикуют за то, что «тестовые» задания на выбор правильных ответов из нескольких вариантов (номера 1-16) делают из детей роботов, но в этих вопросах робот делает довольно глупые ошибки.

Возникает опасение: недобросовестные учащиеся станут использовать ChatGPT, чтобы создавать и списывать развёрнутые ответы. Ответы, которые легко проходят проверку на плагиат. Да, такая опасность есть, и преподаватели должны обратить на неё внимание. Не нужно объяснять, что в деле «складывания слов в предложения» для детей очень важна собственная практика, и что обычный ребёнок «письменные» задания саботирует при всякой возможности.

Но пользоваться сервисом ChatGPT на данный момент весьма тяжело. Как я уже писал, из-за сбоев и перегрузок я смог закончить исследование только на третий день. То есть в своём нынешнем виде бот не годится для того чтобы заполнить бланк ответов за один раз. Необходим длительный диалог. Возможно, что очень скоро доступ к ChatGPT станет платным.

Теоретически, искусственный интеллект может помочь учителю, который хочет использовать задания, к которым нет «ключей». Увы, ответы нейросети не опираются на содержание федерального перечня учебников, а это бывает критически важным.

Более перспективной выглядит гипотетическая проверка домашних заданий и экзаменационных работ машиной, но действующего сервиса на данный момент ещё нет. (Можно представить себе абсурдную ситуацию, в которой одна нейросеть сочиняет работы, другая их проверяет, а на этом массиве данных автоматически «натаскивается» третья. Ни педагог, ни ученик здесь вообще не нужны.)

Очень востребованной окажется программа, которая сможет выполнять роль нынешнего «антиплагиата». То есть определять, какой текст написан роботом, а какой – человеком. (Только один из пяти участвовавших в данном исследовании экспертов заподозрил, что ответы созданы искусственно).

Вычислительные мощности компьютеров продолжают расти, поэтому я думаю, что в недалёком будущем получить ответы от искусственного интеллекта окажется значительно легче, а результаты станут ещё менее отличаться от человеческих. Сделать робота, который станет решать «тестовые» вопросы на 100 из 100 – дело даже не «техники», а грамотного машинного обучения. Письменные домашние задания в массе своей тоже исчезнут – тексты длиннее двух предложений учащиеся будут писать только в классе и под присмотром тех же роботов (камера зафиксирует, сирена прогудит, когда кто-то достанет смартфон). Ведь как ни сильны процессоры, а учиться думать и писать людям всё равно придётся. В ином случае наше будущее – поляна телепузиков, где жизнерадостные существа с интеллектом пятилетнего ребёнка подчиняются умному пылесосу.

P.S. Независимая лаборатория образования готова участвовать в совершенствовании нейросетевых технологий проверки домашних заданий по истории и обществознанию. Нами накоплен и тщательно упорядочен большой массив как вопросов, так и разнообразных ответов на них. Возможна реализация совместного коммерческого проекта. По вопросу сотрудничества пишите в личные сообщения или в телеграм @ChubukovAnton.

P.P.S. В НезЛО не предусмотрены гонорары, но если Вам понравился текст и Вы хотите поддержать автора – оформите платную подписку на материалы паблика или сделайте банковский перевод.