что такое программа прокторинг
Списать не дам: что такое онлайн-прокторинг и как он работает
Что прокторинг представляет собой сегодня
Об экспертах:
Прокторинг — это процедура контроля за ходом дистанционного испытания (в английском языке «proctor» — это наблюдатель на экзаменах в вузе).
Это понятие уже достаточно хорошо знакомо не только экспертам. Но как он обеспечивается на самом деле и какой ценой? Необходима ли нам такая тотальная система контроля?
Исследователи выделяют следующие прокторинговые системы.
Он осуществляется путем отслеживания приложений, с которыми работают учащиеся на своих ПК, и переключений на другие сервисы во время экзамена.
Например, с помощью приложения «Блокировка браузера» закрывается доступ к другим приложениям во время экзаменов.
Так, онлайн-контроль происходит без экзаменатора, без участия человека. Записываются видео и звук, автоматически выявляется подозрительное поведение человека и фиксируются нарушения. За грубое несоблюдение правил (подмена экзаменуемого, копирование заданий) программа автоматически блокирует доступ к системе.
Реализуется аналогично пассивному, но с добавлением мониторинга в режиме реального времени. Один проктор (наблюдатель) может следить за несколькими учащимися одновременно.
Ограничения и последствия онлайн-прокторинга
Возможности прокторинга ограничены, что иногда вынуждает изменять процедуры многих экзаменов и усложнять их техническое оснащение.
Так, осуществление онлайн-контроля предполагает упрощение заданий экзамена. Это связано с сокращением времени на обдумывание ответов и соблюдением ряда ограничительных мер. Также не все экзамены возможно осуществлять в дистанционном формате.
Согласно апрельскому опросу НКО Educause, главными проблемами, с которыми сталкиваются образовательные учреждения во время внедрения прокторинговых систем, являются стоимость онлайн-контроля (58% респондентов), а также обеспечение конфиденциальности данных учащихся (51%).
Казалось бы, пандемия предоставила прекрасный шанс «переключить» образование на дистанционный формат, но именно вынужденный форсированный перевод процесса в онлайн выявил неподготовленность к этому преподавателей, учащихся, всей системы образования в целом. Он же позволил акцентировать внимание на связанных с этим проблемах, одной из которых является сама оценка.
Кто выступает против онлайн-прокторинга и почему
В некоторых университетах отказываются использовать прокторинговые системы из-за дороговизны процедуры. В России, например, рынок онлайн-прокторинга вообще не развит: на прокторинг вузы выделяют только около 5% своих расходов на онлайн-образование. Также многие эксперты отмечают, что эта технология не является полноценной заменой классической процедуры экзамена. Так, в связи с пандемией коронавируса руководство многих университетов стремилось отсрочить курсы и итоговые экзамены для дальнейшего возобновления процесса обучения в традиционном формате.
Такого же мнения часто придерживаются и сами учащиеся. К примеру, в Техасском технологическом университете (США) студенты негативно отнеслись к введению прокторинга, который воспринимался ими как вторжение «большого брата» в личную жизнь. Учащиеся университета Тилбурга (Нидерланды) создали петицию, призывающую отменить использование прокторинговых систем.
Чем внедрение прокторинга напоминает компьютеризацию шахмат
Любопытно, что проблема имеет место в совершенно, казалось бы, не родственной деятельности, а именно — игре в шахматы. И там можно считать, ситуация уже подходит к своему логическому завершению: внедрение разных программ против читинга (или «читерства»), т.е. мошенничества, приводит к изменению классических шахмат.
Началось все в конце XX века: сначала компьютер победил чемпиона мира Гарри Каспарова в блиц, потом обыграл его в одной из партий матча в классические шахматы, и наконец, выиграл сам матч. Само по себе это было бы не страшно, но параллельно практически линейно снижалась стоимость владения шахматным помощником за счет общего развития ИТ.
С тех пор любой человек, который умеет ходить фигурами и записывать ходы, может обыграть очень сильного гроссмейстера, если у него в доступе будет компьютер с установленной программой.
Таким образом, компьютерные технологии предоставили новичкам новые возможности для читинга — пользования программами во время игры и обращения за советом к профессионалу или просто человеку, имеющему доступ к компьютерным сервисам.
В ответ начали появляться различные модификации классических шахмат. К примеру, шахматы Фишера-960, шахматы с выбранной случайной расстановкой фигур, которые не предоставляют игрокам возможности использовать заученные ходы в начальной части партии. В итоге было создано множество радикальных модификаций классических шахмат, которые фактически представляют собой уже новые игры с сохранением только внешнего вида и основных принципов (к примеру, гексагональные шахматы Глинского, шахматы Капабланки).
Самих же турниров по классическим шахматам проводится все меньше. Так, согласно статистике сайта «Результаты шахматных турниров» (РШТ), в марте 2020 года в России состоялись 175 шахматных турниров, из которых «классика» составила только 38 состязаний, остальное — рапид (в большей степени) и блиц.
В итоге статус-кво в шахматах сейчас таков.
Если применить «шахматные» выводы к образованию, то напрашивается почти полная аналогия. Реально применимы лишь четыре сценария использования онлайн-режима оценивания:
Но ставить вопрос о качестве прокторинга в целом преждевременно, так как процесс оценки в онлайн-режиме меняет в принципе подход к оценке и к ее процедурам. К тому же в связи с переходом на дистанционный формат обучения многие студенты находятся в состоянии стресса и беспокойства, и дополнительный контроль может только навредить.
Прокторинговые системы особенно эффективны в рамках корпоративного обучения, когда нужно охватить большое число экзаменуемых, находящихся, например, в разных уголках страны и мира, или же когда крупной компании необходимо провести оценку большого числа своих сотрудников.
Таким образом, возможности применения онлайн-оценивания действительно ограничены, и можно предполагать, что в самое ближайшее время статус-кво онлайн-тестирования будет сильно изменен.
Прокторинг в онлайн-экзаменах: как это работает?
Stepik — на данный момент единственная русскоязычная образовательная онлайн-платформа, на который любой желающий может создать экзамен с прокторингом (онлайн-сопровождением и контролем учащегося). Притом такой экзамен может иметь заданную продолжительность, ограниченное время на прохождение, точную дату начала.
В данной статье мы расскажем про то, зачем нужен прокторинг, и в подробностях опишем интеграцию системы онлайн-прокторинга ProctorEdu с платформой Stepik.
Если вы знаете, что такое онлайн-прокторинг и какие он дает преимущества для реализации процесса проведения онлайн-экзаменов, то пропускайте следующую описательную часть и сразу переходите к вопросам реализации в главе Что такое экзамен на Stepik?
Вступление
Для перевода обучающих материалов и тестовых заданий в онлайн-формат подходят практически любые области знания — от IT до HR. Например, онлайн можно можно проводить обучение новых сотрудников в компании, или осуществлять автоматическую проверку кода, или обучать работе с базами данных — и всё это непосредственно на образовательной платформе без необходимости для преподавателей или учащихся разворачивать инфраструктуру на локальных компьютерах. При этом решается проблема проверки полученных знаний, т.к. можно провести финальный экзамен по курсу в том же онлайн-формате, в котором учащийся проходил онлайн-курс. Не надо заставлять человека, желающего получить сертификат, ехать в рабочее время в Центр тестирования, нервничать из-за новой незнакомой обстановки, когда можно предоставить возможность пройти онлайн-экзамен в том же знакомом интерфейсе в удобное время, при этом сидя в комфортном кресле.
Рассмотрим IT-индустрию: например, центр сертификации Microsoft позволяет проходить сертификационные экзамены удаленно, компания Hortonworks организует получение сертификатов по администрированию собственной платформы, предоставляя доступ к удаленной виртуальной машине и список заданий, которые нужно сделать.
И, всё-таки, несмотря на неудобство для экзаменуемых, стоимость сертификатов в IT-индустрии достаточно высока, и оборудование физических помещений под цели проведения экзаменов, для которых необходимо проверять личность сдающего и осуществлять строгий контроль за процессом сдачи, может быть рентабельно. Но если посмотреть на ситуацию, когда быстрорастущей компании, которая работает в нескольких регионах, нужно массово обучать и проверять знания сотрудников, а затем на основе этой информации принимать финансовые и HR-решения, процесс организации физического присутствия сотрудников на экзаменах может стать очень дорогим и организационно сложным для масштабирования.
Как же прокторинг всех спасёт?
Давайте представим, что появился новый конкурент Uber компания Taxibus, которая называет своим ключевым преимуществом вежливость и высокий профессионализм своих водителей. Для этого водитель, сотрудничающий с компанией Taxibus, должен ежеквартально сдавать теорию по ПДД и экзамен по правилам эффективного общения. В случае успешной сдачи экзаменов водитель получает льготный тариф, который позволяет ему отдавать транспортной компании не 7, а 5% комиссии от стоимости каждой поездки. К работе с компанией Taxibus подключилось уже около 7 тысяч водителей в 15 городах страны, и чтобы не тратить деньги на аренду помещений и оплату зарплаты сотрудникам-прокторам, осуществляющим контроль процесса сдачи экзамена, компания разработала онлайн-экзамены, доступные водителям в любое время с их личных компьютеров или мобильных устройств. Однако, некоторые водители не хотят готовиться к экзаменам, но их привлекает возможность получить дополнительный бонус от компании. Поэтому они просят своих друзей, уже успешно сдавших экзамен, пройти экзамен вместо них.
Чтобы однозначно подтвердить личность сдающего и получить уверенность, что экзамен был сдан честно, без использования посторонней помощи, организаторы обучения могут подключить к экзаменам в своей обучающей платформе систему онлайн-прокторинга. Основная задача таких систем — через доступ к веб-камере, микрофону и рабочему столу пользователя подтверждать соблюдение регламента экзамена в автоматическом или полуавтоматическом режимах (о чем мы еще скажем ниже), как делал бы это реальный проктор при физическом присутствии сдающего на экзамене. Подробнее о том, как работают такие системы можно прочитать здесь.
В случае сдачи онлайн-экзаменов по IT-дисциплинам может использоваться такая же система. Системы прокторинга довольно сложны сами по себе, т.к. они требуют работы с несколькими видео-потоками, организации систем хранения видео и аудио информации, технологий распознавания лиц и речи, разработку интерфейсов проктора для управления процессом сдачи экзамена и экзаменуемого. Поэтому Stepik не стал разрабатывать свою технологию онлайн-прокторинга, а использует уже имеющиеся решения. В этом посте мы хотим рассказать некоторые технические подробности, о том, как мы интегрировали систему онлайн-прокторинга ProctorEdu для работы с нашей платформой, и как наши преподаватели курсов могут настроить прокторинг в экзаменах в своих курсах на Stepik для более надежной верификации экзаменационных сессий.
В Stepik уроки объединяются в модули или учебные недели. Любой модуль можно превратить в экзамен, выбрав в настройках тип модуля «Экзамен» и задав продолжительность экзамена. Учащиеся смогут приступить к прохождению экзамена в промежуток времени, который задает преподаватель курса, нажав кнопку «Начать экзамен». Пока длится экзамен, учащийся видит таймер с обратным отсчетом. После окончания экзамена учащийся больше не сможет набирать баллы в экзамене.
Когда пользователь приступает к экзамену, для него в базе создается запись exam-session, в которую записывается дата начала экзамена пользователем. Зная дату начала и продолжительность экзамена exam_duration_minutes, мы в интерфейсе отображаем оставшееся время пользователю. Пользователь получит только те баллы за правильные решения, которые он успел получить до окончания экзамена.
Как технически устроена интеграция с провайдером прокторинга?
Реализация возможности проходить экзамены с онлайн-прокторингом наложила дополнительные ограничения на возможность создания записи exam-session — пользователь должен иметь возможность записаться на доступный сеанс прокторинга и приступать к экзамену только, когда получил на это разрешение проктора. При этом проктор должен иметь возможность досрочно закрыть доступ к экзамену в случае нарушений, а также оценить наличие и отсутствие нарушений во время экзамена, которые могут повлиять на итоговую оценку. Для этого в Stepik мы добавили еще одну модель proctor-session, которая связана с экзаменационным модулем и позволяет создать exam-session только при наличии запущенной proctor-session (с установленной start_date).
Как мы уже упомянули выше, для учащегося отличие экзамена с прокторингом от обычного экзамена состоит в том, что на прокторинг нужно записываться заранее, когда у проктора, контролирующего экзамен, есть свободные слоты времени. В интерфейсе Stepik это решается на странице экзамена — пользователю предлагается записаться на сеанс прокторинга, для записи пользователь переходит по ссылке на ProctorEdu (в этом момент создается proctor-session для данного пользователя), регистрируется там со своим Stepik-аккаунтом через протокол OAuth2 и выбирает время, доступное для прохождения экзамена.
Учащийся сможет начать экзамен (т.е. создать exam-session) только при наличии запущенной proctor-session (для которой proctor выполнил команду start). Когда учащемуся экзамен становится доступным для прохождения, он видит активную кнопку «Начать экзамен» и может приступить к прохождению экзамена.
Для управления proctor-sessions пользователей провайдер прокторинга (которому мы назначаем специальную роль «proctor») регистрирует у нас серверное приложение по протоколу OAuth2. Данное приложение сможет управлять сессиями прокторинга учащихся на платформе Stepik, с помощью команд которые мы описали выше.
Как создать экзамен с прокторингом на Stepik?
Интеграция ProctorEdu и Stepik: взгляд со стороны системы прокторинга
Автоматизированная система прокторинга ProctorEdu — облачное решение SaaS (программное обеспечение как сервис), которое позволяет организовать и провести экзамены по процедуре прокторинга. Сеансы записываются и анализируются на предмет нарушений, после чего формируются отчеты.
ProctorEdu предоставляет интерфейсы для организации рабочего пространства прокторов со стороны образовательной организации, но также может и предоставлять своих прокторов.
Как происходит интеграция ProctorEdu и LMS в общем случае?
Интеграция ProctorEdu и Stepik
Схема подключения Stepik к системе ProctorEdu
Для интеграции с платформой Stepik на данный момент используется первый вариант из описанных выше: был разработан специальный API, который построен таким образом, чтобы можно было гибко настраивать протокол обмена данными между LMS и системой ProctorEdu в формате JSON.
Экзамен не будет начат пока эти требования не будут соблюдены. Во время самого экзамена осуществляется трансляция и запись веб-камеры, рабочего стола и дополнительной камеры студента, выполняется автоматическое отслеживание нарушений. В начале каждого сеанса автоматически делается фотография лица студента, эта фотография проходит процедуру идентификации личности и определяется процент схожести лица в сеансе с фотографией из профиля.
На протяжении всего экзамена осуществляется непрерывная верификация личности человека за компьютером, которая основана на методах автоматического обнаружения и распознавания лиц и методе анализа клавиатурного почерка. Проктор может наблюдать за назначенными ему студентами, видеть их трансляции, видеть уведомления о зафиксированных нарушениях. При необходимости проктор может связаться со студентом по видеосвязи или через чат. Также проктор может прервать экзамен в любой момент и указать причину в комментарии к сеансу.
После завершения экзамена формируется оценка степени доверия к результатам экзамена в процентах, формируется интерактивный протокол с видеозаписью всех трансляций, историей переписки и поминутной детализацией зафиксированных нарушений.
Интерфейс студента при прохождении экзамена на Stepik, проводящийся через систему ProctorEdu
Взаимодействие со Stepik осуществляется студентом из интерфейса системы ProctorEdu, в этом случае страница экзамена загружается через IFRAME по указанному в сеансе адресу. Экзамены импортируются из Stepik при входе студента в систему ProctorEdu.
Заключение
В окончании статьи хотим привести плюсы и минусы экзаменов с онлайн-прокторингом.
Если вам интересно сделать свой экзамен с прокторингом на Stepik или полноценный онлайн-курс, напишите нам письмо.
Как вы считаете, достаточно ли надёжны результаты прокторинга? Если бы перед вами стояла задача проведения онлайн-экзамена, воспользовались бы вы функцией прокторинга?
Как использовать прокторинг в онлайн-обучении?
Иногда компании вкладывают средства в разработку онлайн-курсов, а уровень знаний сотрудников остаётся прежним. Проблема в том, что без внешнего контроля некоторые люди только делают вид, что учатся. Тестирование отчасти решает эту проблему, но его механизмы можно обхитрить. Поэтому многие организаторы корпоративного обучения подключают услугу прокторинга. Она помогает контролировать процесс прохождения тестов и выявлять истинный уровень знаний учащихся.
Прокторинг — это процедура контроля на онлайн-экзамене или тестировании, где за всем процессом наблюдает администратор — проктор. Он следит за действиями экзаменуемого с помощью веб-камеры и видит, что происходит на мониторе его компьютера.
Например, своя система контроля дистанционного обучения есть у Яндекса. Сервис предлагает пройти сертификацию Яндекс.Директ с прокторингом. Для этого учащийся подтверждает свою личность при помощи действующих документов и разрешает вести видеонаблюдение и видеозапись экрана. Также онлайн-экзамены с прокторингом проходят сотрудники Сбербанка и других крупных компаний.
Что такое прокторинг?
Понять, что значит прокторинг, поможет перевод слова proctor с английского языка. Дословно – это наблюдатель, а в более широком смысле – человек, который следит за прохождением экзамена. Прокторинг в электронном обучении помогает подтвердить личность того, кто проходит тесты и убедиться, что он соблюдает правила и отвечает на вопросы без посторонней помощи.
Как работает система контроля за обучением?
Можно интегрировать функции прокторинга в LMS (платформу для удалённого обучения) на уровне API и UI или, наоборот, добавить LMS в систему прокторинга. Например, образовательная платформа Эквио поддерживает интеграцию со сторонними сервисами. Руководитель при помощи службы поддержки может установить в неё систему прокторинга. Это поможет сделать прохождение тестов максимально честным и прозрачным.
Проктор заметит других людей, которые помогают пользователю пройти тест
Виды прокторинга в онлайн-обучении
Асинхронный прокторинг также предусматривает проверку действий сотрудника другим человеком. Однако проверяющий контролирует процесс не в реальном времени, а позже, с помощью полученных записей. При этом просматривается не всё тестирование, а только те моменты, которые алгоритм отметил как нарушение.
Автоматический или онлайн прокторинг не требует присутствия человека. Весь процесс тестирования контролирует искусственный интеллект. Это дешевле и проще в организации, поэтому такой способ часто используют там, где не требуется высокая точность проверки.
Преимущества использования системы прокторинга для обучения персонала
Как мы уже писали вначале, прокторинг имеет важный психологический эффект. Если сотрудники будут знать, что во время тестирования их будут контролировать, они более ответственно подойдут к обучению. А значит, уровень их профессиональных знаний и эффективность онлайн-занятий будет выше.
Проктор идентифицирует личность пользователя, обмануть алгоритм не удастся
Современные LMS платформы позволяют без проблем настроить удалённое обучение и тестирование персонала. А благодаря прокторингу организацию контроля обучения можно переложить на специальную программу. Это позволит максимально разгрузить HR-отдел и сэкономить средства. Как ещё можно отслеживать эффективность корпоративных онлайн-курсов, читайте в статье Контроль обучения персонала.
Прокторинг: что нужно знать hr-у
Что такое прокторинг?
Четкого и единого определения в русскоговорящей среде еще не сложилось, сам термин для многих является новым, хотя подобные технологии развиваются уже не один год. Тем не менее, общее определение может звучать так: прокторинг (от англ. «proctor» — надзиратель) — это автоматизированная процедура наблюдения и контроля за дистанционным испытанием.
Зародился прокторинг в электронном обучении: нужно было технологично присматривать за студентами на онлайн экзаменах, чтобы те не списывали. Теперь же он развивается не только в образовании, но и в HR — результаты онлайн-тестов для персонала также должны быть защищены от возможных фальсификаций.
То, как организуется сеанс прокторинга, зависит от провайдера, но суть остается неизменной. Система собирает данные с камеры, микрофона и экрана компьютера респондента, анализирует процесс тестирования, подтверждает личность, фиксирует возможные нарушения. И в итоге предоставляет организатору тестирования видеозапись процесса и оценку достоверности полученных результатов.
Как работает система прокторинга
Сервис призван автоматически отслеживать и пресекать следующие распространенные нарушения:
Что произойдет, если будет зафиксировано нарушение? Организатор самостоятельно определяет, как поведет себя программа:
Какие технологии используются в системе онлайн прокторинга?
Программа анализирует большой объем поступающих данных. Это и видео, и аудио, и события в браузере респондента. Для этого используется машинное обучение — класс методов искусственного интеллекта — специальные алгоритмы, обученные модели, которые в режиме реального времени способны определить нарушения.
Помимо технических возможностей системы, стоит отметить еще и ее психологический эффект. Осознание того, что за тобой наблюдают, заставляет отказаться от попыток обмана. И сам факт наблюдения становится большим подспорьем в обеспечении достоверности результатов тестирования.
Этапы работы с системой: что делает организатор
Правила проведения: что делает респондент
Порядок проведения сеанса прокторинга зависит от требований организатора и конкретного испытания. Но правила стандартной процедуры таковы:
Прокторинг в подборе и оценке персонала
Проблема фальсификации результатов оценочных процедур стара как мир. Всем знаком образ школьника, списывающего на контрольной, студента, который сдает экзамен со шпаргалками… И с возрастом это не проходит, напротив, чем дальше — тем выше ставки, и тем сильнее желание попробовать во что бы то ни стало «пройти тест». Тестирование при приеме на работу или формировании кадрового резерва, прохождение аттестации: проблема «списываний» становится головной болью уже не работников сферы образования, а HR-ов. Причем сильной.
HR-ы до недавнего времени боролись с этой проблемой примерно так же, как и экзаменаторы в учебной аудитории: вживую наблюдали за респондентами, своими силами администрировали процесс. Но все это работает лишь в индивидуальной оценке, максимум — в малых группах. А развитие дистанционных оценочных процедур накладывает свои требования. Российский Стандарт тестирования персонала прямо указывает на то, что при применении открытого дистанционного онлайн тестирования в ситуации экспертизы гарантия достоверности результатов отсутствует и полученные таким образом данные диагностики не могут влиять на окончательные управленческие решения.
Эти две причины — сильное стремление респондентов показать наилучший результат и развитие массового дистанционного онлайн тестирования — создают столь высокую потребность в применении технологий прокторинга именно в HR-практике.
Конечно, такое дистанционное наблюдение в подборе и оценке персонала прежде всего актуально при тестировании знаний и интеллекта. Что же делать с личностными опросниками? При их применении могут проявиться более тонкие факторы, снижающие достоверность результатов. Например, мотивационные искажения: стремление соответствовать пожеланиям работодателя, выглядеть в лучшем свете («Просто надо быть правдивым, благородным, справедливым, умным, честным, сильным, добрым — только и всего!»). Только лишь наблюдать за респондентом в этой ситуации уже недостаточно. В психометрике есть ответы и на эти вопросы. Всесторонне эта тема раскрыта в статье Алёны Мезенцевой, Руководителя отдела исследований и разработок Лаборатории «Сам Абрам дался в обман, или фальсификация результатов тестирования и как с ней бороться».
Возвращаясь к прокторингу подчеркнем, что он точечно решает конкретную проблему, для которой предназначен, не больше и не меньше. Но делает это хорошо: легко и технологично, занимая заслуженное место в ряду современных, автоматизированных и удобных HR-решений.
Интеграция системы тестирования Maintest и прокторинга
Лаборатория «Гуманитарные Технологии» не является непосредственным поставщиком программного обеспечения для прокторинга. На этом специфическом рынке есть свои профессионалы. У каждого провайдера есть свои возможности и особенности, свой тарифный план. Вы можете выбрать того, кто больше других подходит под требования и условия конкретной процедуры тестирования. А мы предлагаем вам интеграцию систем.
Интеграция — это процесс объединения частей в целое. В данном случае это объединение сеанса тестирования, который осуществляется в нашей оболочке Maintest, с сеансом прокторинга (платформа предоставляется выбранным провайдером). Две системы незаметно для пользователя взаимодействуют между собой, а управлять всеми процессами можно из единого личного кабинета в Maintest.
На что мы обращаем особое внимание при осуществлении интеграции
Рис. 2 – Предупреждение респондента о нарушении процесса тестирования.
В личном кабинете Maintest пользователь может управлять настройками прокторинга:
Варианты подключения услуги
Авторы: Григорий Красночуб, программист Human Technologies;
Татьяна Преснова, редактор информационных ресурсов Human Technologies.
В вашей почте раз в неделю. А еще: новости, акции и мероприятия для HR.