Прокторинг в образовании

Что такое прокторинг

Прокторинг — это процедура контроля на онлайн-экзамене или тестировании, где за всем процессом наблюдает администратор — проктор. Он следит за действиями экзаменуемого с помощью веб-камеры и видит, что происходит на мониторе его компьютера.

Такая технология позволяет подтвердить личность кандидата, объективно оценить его знания, исключить шпаргалки и прочие уловки на экзамене. При этом испытуемый и проктор могут находиться в разных уголках планеты.

Впервые прокторинг стали использовать в Америке в 2008 году. Компания ProctorU, которая и создала эту систему, использовала прокторинг для дистанционного контроля за экзаменом. Тогда за студентами следил администратор через веб-камеру и самостоятельно фиксировал все нарушения.

С тех пор технологии ушли вперед, многое автоматизировали и прокторинг стали проводить 3-мя способами:

• проктор-человек — администратор следит за ходом экзамена через веб-камеру и фиксирует нарушения вручную;
• автопрокторинг — программа самостоятельно верифицирует личность студента, следит за его поведением, направлением взгляда, анализирует звуки в комнате, фиксирует нарушения на видео и готовит отчеты;
• человек и программа — комбинированный вариант. Может проводиться 2-мя способами. Первый — когда весь процесс контролирует ПО и подает сигналы проктору в случае нарушений. Второй — администратор сам следит за тестируемыми в режиме онлайн. Последний вариант считается самым надежным, так как любая программа может дать сбой. При этом проктор, за счет автоматизации процесса, может одновременно принимать экзамен у нескольких студентов и ничего не упустить из виду.

Так проходит тестирование с прокторингом на digital-платформе Finassessment

Прокторинг исключает любую заинтересованность учебного центра в результате экзаменов. Так как проктор — это не экзаменатор, а независимое лицо. Он не участвует в учебном процессе, но принимает экзамен и следит, чтобы он прошел по всем правилам. Проктором может быть как специально обученный специалист, так и независимый преподаватель из другой учебной организации или частной компании.

Серверная часть ProctorEdu

Кстати, об архитектуре системы.

Основной компонент ProctorEdu — сервер приложений. Он работает на Node.js и занимается обработкой веб-запросов и веб-сокетных соединений. Сервер приложений связан с базой MongoDB. Там хранятся все данные, не являющиеся бинарными объектами. Для файлов, изображений, записей экзаменов предусмотрено отдельное S3-совместимое объектное хранилище.

Архитектура ProctorEdu включает отдельный сервис под API распознавания лиц и документов, и TURN-сервер для координации WebRTC-подключений между компьютерами участников.

Раньше для видеосвязи использовался медиасервер, через который проходили видеопотоки всех клиентов. Но разработчики быстро поняли, как тяжело приходится онлайн-кинотеатрам: то соединения отваливаются, то данные не передаются, то память переполняется — вечно какие-то сложно диагностируемые проблемы. Когда они перешли на p2p архитектуру, проблемы решились сами собой.

Вся система поддерживает горизонтальное масштабирование. Ее компоненты упакованы в контейнеры. Их можно разбросать по разным физическим серверам и собрать кластерную конфигурацию в режиме мастер-мастер. Тогда нагрузка будет распределяться равномерно.

Обычно ProctorEdu разворачивают на базе одного из российских хостингов, поддерживающих хранение персональных данных, но систему можно запустить и на локальном сервере, как в проекте с МГУ и КРОК. 

Требования к железу невысокие: компьютер с восьмиядерным процессором и 8 ГБ оперативной памяти потянет порядка 500 одновременных сессий. Однажды ProctorEdu обслуживала больше 5 тыс. одновременных участников экзамена и понадобилось всего 6 серверов для обработки клиентских запросов.

Во время экзамена

1. Вас должно быть хорошо видно, то есть в комнате должно быть светло. Если экзамен сдаете вечером — включите в комнате свет, со стола нужно убрать все лишнее, в том числе бумаги, наушники, телефон. Нужно приготовить: оригинал паспорта, бутылку с водой, и то, что предусмотрено ПУДом и Правилами проведения экзамена на вашей образовательной программе (это могут быть чистые листы А4 для черновиков, калькулятор и т. п.). 2. Не стоит заходить в систему слишком рано — вы увидите надпись: «Время вашего экзамена еще не наступило» или  «У вас нет назначенных экзаменов». Доступ к вашему экзамену появится в стартовом окне за 5 минут до начала экзамена. В случае каких-то проблем и задержек на старте учтите, что вы сможете начать экзамен только в течение первых 30 минут. После этого начало экзамена в системе станет для вас недоступно. 3. В начале экзамена нужно зайти по ссылке https://hse.student.examus.net и авторизоваться чере кнопку Сессия НИУ ВШЭ.4. Следующим шагом нужно подтвердить свое согласие с правилами проведения онлайн-тестирования (поставить нужные галочки) и перейти к идентификации. 5. Для идентификации личности поднесите паспорт к камере, сфотографируйте, нажмите кнопку «отправить». 6. Чтобы убедиться, что в комнате нет других людей, которые могут подсказывать, а на столе нет шпаргалок, вас попросят показать рабочий стол и комнату вокруг. Для этого возьмите в руки вашу веб-камеру или ноутбук, продемонстрируйте стол, комнату и верните камеру на место так, чтобы вас было видно в окошке на панели прокторинга Examus по грудь. Возьмите телефон, сфотографируйте экран вашего компьютера и покажите фото в камеру,  после этого уберите телефон со стола.   Если у вас моноблок (камера не снимается), возьмите мобильный телефон, сфотографируйте ваш рабочий стол и покажите фото в камеру. После этого уберите телефон со стола. Если можно пользоваться черновиками — до начала экзамена нужно показать черновики в камеру с двух сторон (сложенные веером). На этом проверка условий для начала экзамена будет завершена. 7. Проверьте правильность нахождения перед камерой

Обустройство места сдачи

1. Наличие веб-камеры и микрофона.
2. В помещении не должно быть других людей и разговоров.
3. Необходимо сфотографировать удостоверение личности и сделать селфи. На документе должны быть видны фото, фамилия, имя, отчество и дата рождения. Проще всего использовать паспорт.
4. Запрещено использовать любые вспомогательные материалы.
5. Запрещено покидать помещение.
6. Лицо должно быть четко видно в камере, необходимо обеспечить правильное освещение.

Первые сложности у нас возникли с подготовкой рабочего места. Как выяснилось, система прокторинга очень требовательная. Нужно было найти свободную комнату в офисе, правильно поставить освещение и забаррикадировать двери от коллег.

Сам тест рассчитан на специалистов, которые активно ведут кампании в Директе. Тест содержит 60 теоретических и практических вопросов по темам

• показы объявлений в Директе,
• управление ценой клика и оплата,
• стратегии показов,
• настройки рекламы и повышение эффективности,
• условия подбора аудитории,
• статистика и отчёты.

На ответы дается 60 минут.

Вопросы и ответы для студентов

— Зачем показывать паспорт? — При онлайн-экзамене контролировать ход проведения вашего экзамена могут сотрудники ВШЭ не вашего подразделения или внешние прокторы, поэтому нужна идентификация личности. Согласно пункту 1 постановления Правительства РФ от 08.07.1997 № 828 «Об утверждении Положения о паспорте гражданина Российской Федерации, образца бланка и описания паспорта гражданина Российской Федерации», паспорт гражданина Российской Федерации является основным документом, удостоверяющим личность гражданина Российской Федерации на территории Российской Федерации. НИУ ВШЭ в ходе прокторинга осуществляет идентификацию лица, проходящего элемент контроля, в результате сопоставления лица и представленного им оригинала паспорта.

— Что произойдет, если во время экзамена начнётся посторонний шум (кошка мяукает, соседи ремонт делают)? Экзамен прекратится? Появится какое-то предупреждающее окно? Будет ли разница между предупреждениями при синхронном и асинхронном прокторинге? — При возникновении сильного шума во время экзамена проктор или система прокторинга отметит это как нарушение, но экзамен не будет прекращен. При синхронном прокторинге за проведением экзамена наблюдает проктор — специально обученный человек. Задача проктора — не «завалить» студента, а контролировать ход экзамена, и гарантировать достоверность самой процедуры оценивания. Во время синхронного прокторинга у студента есть возможность задать вопрос проктору (не по содержанию экзамена) в чате для общения. Чаще всего у проктора спрашивают, сколько времени осталось до конца экзамена и что нужно делать, если экзамен закончил досрочно. При серьезных нарушениях (студент встает с места, открывает посторонние вкладки на компьютере, говорит громко вслух, общается с посторонними лицами, студенту помогают с решением задания, пользуется заранее заготовленными записями, гаджетами, игнорирует комментарии проктора) проктор отметит эти действия как нарушения и отправит студенту предупреждение в чат. При нескольких серьезных нарушениях, если студент не реагирует на замечания, проктор может отметить экзамен как недостоверный. Окончательное решение будет принимать руководство образовательной программы. Видео всех экзаменов, на которых зафиксированы нарушения, будет дополнительно проанализировано сотрудниками Университета, а подтвержденные нарушения зафиксированы в акте.

При асинхронном прокторинге система автоматически запишет ход экзамена без отправки предупреждений студенту. После экзамена сотрудник ВШЭ сможет отсмотреть видео экзамена и подтвердить / опровергнуть возможное нарушение. Сотрудник, который проверяет видеозаписи, знает правила проведения экзамена (чем было можно пользоваться в процессе сдачи: черновики, справочные материалы в бумажном и электронном виде, калькуляторы). Все нестандартные ситуации, на которые студент не может повлиять, рассматриваются с точки зрения здравого смысла и рационального подхода (у студента упала ручка — он наклонился ее поднять, на стол запрыгнула кошка, внезапно заплакал ребенок в соседней комнате, позвонили в дверь и т. д.). Аналог контроля в этой ситуации — система антиплагиата. При загрузке работы антиплгиат может показать высокий процент антиплагиата в самостоятельно выполненной работе, но это не является подтвержденным фактом списывания, решение принимается после дополнительной проверки и подтверждения.

— Можно ли отводить глаза от экрана компьютера при выполнении письменных заданий?  Чем это грозит в асинхронном прокторинге?— Как я узнаю, что мой экзамен прошел через асинхронный прокторинг? Когда я узнаю, есть ли у прокторов вопросы ко мне?

Советы, как сдать экзамен с прокторингом

Если вам предстоит сдать экзамен с прокторингом — не волнуйтесь. Все пройдет гладко, если придерживаться простых советов.

• Экзамен необходимо сдавать в отдельном, тихом помещении. Если вы дома — выберите комнату, куда не смогут зайти ваши родные и домашние животные. Присутствие котов и собак не запрещено, но питомцы могут сильно отвлекать.
• В офисе экзамен лучше проходить в нерабочее время, когда рядом нет коллег. Иначе наличие людей и разговоров в комнате будет считаться грубым нарушением.
• Чтобы не терять время на технические неполадки во время экзамена, заранее пройдите тест оборудования, проверьте исправность веб-камеры и микрофона.
• Чтобы без проблем пройти верификацию личности, позаботьтесь о достаточном освещении комнаты. Проктор должен легко распознать ваше лицо на камеру и прочитать данные в паспорте.
• Если вам нужно отойти в уборную — просто напишите об этом проктору в чат. Отлучаться можно не более, чем на 2-3 минуты.
• Если неожиданно пропал свет, интернет, отключился компьютер или произошли другие технические форс-мажоры — позвоните проктору. Возможно, вам продлят время экзамена. Ну, или как минимум, не зачтут как нарушение.

Несмотря на то, что система прокторинга очень требовательная и бывают разные технические трудности — у нее есть ряд преимуществ. Прокторинг не даст пройти тест без реальных знаний или получить сертификат за другого или несуществующего специалиста. При этом система контроля существенно экономит время и финансовые ресурсы как специалистов, так и компаний.

Экзамен с прокторингом — это единственная альтернатива очного экзамена, которая сохраняет прозрачность и качество самой процедуры. И как показывает практика, количество нарушений на экзаменах с прокторингом намного меньше, чем на очных. Во-первых, это обусловлено незаинтересованностью прокторов в результатах экзамена. А во-вторых, сами студенты относятся к испытанию более ответственно и ведут себя спокойней, находясь в привычной обстановке.

Легкого вам прокторинга и высоких баллов на экзаменах!

Хотите посмотреть, как работает прокторинг и для чего еще, кроме экзаменов, его можно использовать в вашей компании?
Зарегистрируйтесь, чтобы попасть на бесплатную демонстрацию инструмента от Examus!

Записаться на бесплатную демонстрацию

Как вы считаете, при каком формате экзамена достоверность результатов выше?

4 Настройка приложения

После входа в систему становится доступен интерфейс расписания экзаменов (см. рисунок 4.1).
В этом интерфейсе отображены все экзамены, которые уже пройдены, идут или еще только запланированы.

Рисунок 4.1 — Расписание экзаменов

Верхняя панель предоставляет доступ к меню системы (правый верхний угол), с помощью которого возможно:

• обновить список доступных экзаменов;
• показать или скрыть прошедшие экзамены — по умолчанию прошедшие экзамены не отображаются;
• перейти к просмотру или редактированию информации о своем профиле (см. рисунок 4.2);
• перейти к настройкам системы;
• запустить проверку связи;
• выйти из системы.

Рисунок 4.2 — Профиль пользователя

Перед началом прохождения экзаменов необходимо удостовериться, что информация, отображенная в профиле
пользователя, соответствует действительности, во избежание несоответствий при прохождении процедуры идентификации личности.
Все поля в профиле пользователя, кроме поля «Образование, являются обязательными для заполнения.

Для перехода к настройкам системы нужно выбрать в меню пункт «Настройки». Настройки включают в себя
две основные вкладки: «Веб-камера» и «Экран». На вкладке «Веб-камера» (см. рисунок 4.3) можно установить параметры видео
и звука, которые будут транслироваться во время экзамена. Поля «Микрофон» и «Видео» представляют собой выпадающие списки,
в которых перечислены подключенные к компьютеру устройства захвата звука и изображения. Необходимо выбрать используемые
микрофон и веб-камеру. Разрешение и частоту кадров веб-камеры можно изменить в соответствующих пунктах, данные параметры
задают максимальное разрешение и частоту кадров, которые будут использованы при передаче видео.

Рисунок 4.3 — Настройки веб-камеры и микрофона

На вкладке «Экран» (см. рисунок 4.4) можно установить параметры захвата изображения экрана, которое
будет транслироваться во время экзамена. Номер экрана обозначает идентификатор экрана в операционной системе, требуется выбрать
экран в диалоговом окне, которое открывается по кнопке «Выбрать». Разрешение и частоту кадров при захвате изображения экрана
можно изменить в соответствующих пунктах, данные параметры задают максимальное разрешение и частоту кадров, которые будут использованы при передаче видео.

Рисунок 4.4 — Настройки экрана

На вкладке «Система» (см. рисунок 4.5) отображается версия приложения, а также доступна функция обновления приложения.

Рисунок 4.5 — Информация о системе

В ходе работы система автоматически подбирает оптимальное качество передачи аудио и видео в зависимости от
пропускной способности сети и других факторов, но не превышает указанные в настройках значения разрешения и частоты кадров.
Изменяя эти параметры, можно ограничить использование ресурсов компьютера и сети данным приложением.

Мнение Уполномоченного по правам студентов

Чтобы ответить на волнующие студентов вопросы, мы взяли интервью у уполномоченного по правам студентов НИУ ВШЭ Руслана Асланова.

— Как вы относитесь к данной системе в целом? Каковы, по-вашему, её преимущества и недостатки?

— Сам по себе прокторинг — это не плохо. В ограниченном применении он даже может быть эффективным, например, когда надо провести тест на семинаре или промежуточную контрольную. В тех условиях, когда оценка не имеет большого веса, а аудитория прокторинга невелика, он может помочь и студентам, и преподавателям. Но в настоящий момент ощущается чрезмерное использование этой системы, причём иногда оно выглядит довольно неестественным.

Ключевые минусы: множественные технические ограничения, довольно жёсткие требования к студенту, как следствие, возможно психологическое напряжение.

— Какое ваше мнение об открытом письме за пересмотр решений по вопросу прокторинга? Помогают ли требования избежать списывания и других нарушений процедуры сдачи экзамена?

— Я участвовал в составлении письма, поэтому полностью поддерживаю его. Что касается списывания, то высокие требования не всегда могут от него защитить — виртуозы есть везде. Мне больше нравится идея создавать такие форматы заданий, при которых списывание невозможно в принципе. Задания должны требовать глубину подготовки и одновременно стимулировать креативный потенциал студента.

— С какими сложностями сталкиваются преподаватели при использовании прокторинга?

— Преподаватели не всегда уверены, что прокторинг — это панацея. Предполагается, что преподаватель имеет право от него отказаться. На практике далеко не все знают, как это сделать. Иногда преподаватели воспринимают прокторинг как указ сверху.

Если вы преподаватель и хотите отказаться от прокторинга, то сообщите об этом руководителю образовательной программы или декану. В крайнем случае напишите в Дирекцию основных образовательных программ.

— Студенты волнуются о технических неполадках и конфиденциальности информации. Что вы можете сказать об этом?

— Для многих это будет первый опыт прокторинга в жизни. Это уже само по себе заставляет нервничать, а если прибавить к этому условия экзамена, то может быть трудно избежать стресса. Возможно, всё не так драматично и страшно, как может показаться на первый взгляд, но мне кажется, что летняя сессия прибавит студенческому самоуправлению много кейсов. Радует, что администрация заявила о готовности работать по ним совместно.

— Будет ли система использоваться дальше?

— Мне кажется, многое зависит от результатов сессии. Если будут повсеместные сбои и трудности, значит, технология непригодна и использовать её нет смысла. Если все пройдёт хорошо, то она наверняка будет использоваться и дальше.

Не стоит забывать, что сейчас университет вынужден искать решения из-за внешних обстоятельств. Думаю, если прокторинг и сохранится в Вышке, то он не будет использоваться в таких масштабах, и найдёт ограниченное применение.

— Какие советы вы можете дать студентам для успешной сдачи экзамена?

— Сейчас важно не поддаваться панике и упадническим настроениям в изоляции. Очень советую не молчать о своих проблемах, а сообщать о них студенческим советам, администрации или лично мне

Как обойти прокторинг на экзамене

Лучше не искать способы, как обмануть прокторинг. Если у проктора возникнут подозрения, он может досрочно завершить экзамен.

Но некоторых это не пугает. Студенты умудряются подключаться по микронаушнику задолго до начала экзамена. Таким образом можно надиктовать своему помощнику на том конце провода вопрос и прослушать ответ.

Особенно продвинутые качают программы демонстрации экрана. И к моменту начала экзамена помощник студента уже видит по экрану все то же, что видит сам студент. И по тому же микронаушнику получает правильный ответ.

Разработчики не рассказывают о том, какие технологии используют в системе онлайн-прокторинга. Это не только коммерческая тайна, но и способ не дать студентам разобраться в них, чтобы потом искать методы обхода.

С первого взгляда может показаться, что система прокторинга в электронном обучении слишком строга. На самом деле сдать в ней экзамен гораздо проще, чем у преподавателя. Здесь напрочь отсутствует субъективное отношение, человеческий фактор в виде плохого настроения/самочувствия преподавателя. Можно надеяться только на свои знания.

Впрочем, в любом случае у вас всегда будет надежная поддержка в виде сервиса студенческой помощи. 

3 Запуск приложения

После запуска приложения станет доступно окно входа в систему ITMOproctor (см. рисунок 3.1).

Рисунок 3.1 — Вход в систему

В появившейся на экране форме входа необходимо выбрать авторизацию через «Открытое образование»,
после чего вы будете направлены на страницу входа через Платформу (см. рисунок 3.2).

Рисунок 3.2 — Авторизация через Платформу

После ввода логина и пароля вы вернетесь в интерфейс системы ITMOproctor для дальнейшей работы.
Если вы зарегистрированы на Платформе через одну из социальных сетей, то будет необходимо заново пройти авторизацию в этой социальной сети через приложение.

Можно ли обмануть систему?

Можно, но не так, как это обычно пытаются сделать.

В торговых сетях, где используют ProctorEdu, часто бывает так, что один сотрудник пытается пройти тесты за весь магазин. Порой пользователи подменяют видео с камеры на какую-нибудь видеотрансляцию. Так, однажды разработчики наблюдали, как тесты по технике безопасности на предприятии проходила известная порноактриса.

Был случай, когда один из участников подготовился особенно серьезно: напечатал чужое фото на листе А4, вырезал глаза, привязал резинку и использовал как маску.

Конечно, это все легко детектируется.

Раньше можно было поставить смартфон перед монитором так, что его не было видно с фронтальной камеры. Казалось, что участник постоянно смотрит только на монитор. Теперь ProctorEdu обеспечивает и боковой обзор. К системе подключается вторая камера или тот же смартфон.

Еще можно попробовать списывать при помощи удаленного рабочего стола или виртуальной машины. Отследить их с вкладки браузера практически невозможно. Чтобы закрыть эту возможность, в систему добавили интеграцию с Safe Exam Browser.

Это браузер с открытым исходным кодом, который блокирует компьютер на время экзамена. Он не позволяет использовать удаленный рабочий стол, посторонние программы, а также распознает виртуальные машины. 

Тишина в зале

Во время тестирования в помещении не должно быть посторонних шумов. Также никто не должен мелькать перед камерой. Это, безусловно, напрягает и добавляет стресса. Лучше забронировать на час переговорку и закрыться в ней или сдавать тест дома, попросив домашних не заходить в комнату. Сидеть смирно не обязательно, но ваше лицо должно быть постоянно в кадре.

Кроме того, не должны появляться всплывающие окна или открываться сторонние вкладки, так как идет запись экрана. Для решения кейсов, где нужно посчитать результат применения корректировок ставок, можно воспользоваться предварительно открытым в трее калькулятором, по крайней мере у меня это проблем не вызвало.

Заключение

Системы прокторинга позволяют осуществлять мониторинг поведения людей в процессе тестирования, контролировать соблюдение правил и убеждаться в том, что продемонстрированные результаты заслуживают доверия, комментирует руководитель направления по работе с системой образования компании Softline Сергей Терлецкий. Наибольшее распространение технология получила в онлайн-обучении, так как она дает возможность дистанционно наблюдать за поведением множества испытуемых одновременно и пресекать попытки нечестного прохождения экзамена.

Веб-камера фиксирует сидящего перед монитором человека и сравнивает его с имеющейся в базе фотографией, после чего с помощью биометрических технологий начинает анализировать его действия: направление взгляда, выражение лица, даже движения вокруг. Кроме того, система проверяет количество и содержание открытых в браузере вкладок и ряд других параметров.

В том случае, если обнаружено отклонение от заданной модели поведения, преподавателю-проктору, наблюдающему за ходом экзамена, поступает сигнал, после чего он делает нарушителю замечание. Как правило, этого оказывается достаточно – практика показывает, что люди редко пытаются обмануть дважды. Такие решения могут быть актуальны и для очного формата обучения.

Проанализировав поведение учеников во время урока, преподаватель может скорректировать форму подачи материала и сделать подход к обучению более индивидуальным, например, давать практические задания по одной и той же теме в разных формах для лучшего усвоения информации.

Похожие записи:

Урок 1. что такое бухгалтерский учет простыми словами Промокоды на яндекс директ Как переехать в испанию без денег Как научиться понимать английский на слух Разница во времени — города россии Что такое комиссия и залог при съеме квартиры: и кто платит