Тестирование на знание компетенций

Тестирование на знание компетенций

от Екатерина Тюрина -
Количество ответов: 4

Коллеги, добрый день! Стоит задача организовать тестирование на знание компетенций. Есть у вас опыт организации такого тестирования? Проблема в том, что в категориях вопросов можно задать определенную структуру (Компетенция - Дисциплина - Индикатор - Знать/Уметь/Владеть). И исходя из этой структуры формировать тест. Но как быть с анализом полученных результатов? Текущие инструментарии в системе не позволяют вывести правильную аналитику, а именно как освоена компетенция. Статистика по вопросам, я так понимаю, ничего не даст. Вариант конечно только на настраиваемые отчеты. 

Можно конечно попробовать на каждую компетенцию отдельный тест. Но тогда количество таких тестов по одному учебному плану будет слишком много. Студенту проще ответить на один тест со всеми вопросами, покрывающими все компетенции.

Есть мысль в текст вопроса добавлять к какой компетенции и какой уровень он покрывает. Например, УК-1-ИУК-1.2(У), УК-1-ИУК-1.1(З).

Подскажите как это грамотно реализовать, если есть у кого опыт такого тестирования?


В ответ на Екатерина Тюрина

Re: Тестирование на знание компетенций

от Jury N. Belonozhkin -

Здравствуйте, Екатерина!

Из опыта, измерение уровней компетенций вузам не нужно. И в нынешних условиях вредно. Коллеги и так много сил тратят на составление бессмысленных списков компетенций, пишут публикации, но до практического измерения уровней никто в России не доходит. Хотя текущие инструменты Moodle давным-давно как раз позволяют вывести правильную аналитику. Вы сами дали один из самых простейших вариантов – тестирование по категориям компетенций. Конечно, студенту проще выполнить последовательно 10 тестов по 20 вопросов, чем один тест из двухсот вопросов.  На этом простота заканчивается и возникает необходимость измерения уровней составных компетенций, которые мобилизуются из нескольких дисциплин. Для этого в Moodle есть возможность составления фреймворков (рамок) компетенций. Дальше начинается зеленая тоска и кошмар для учебных управлений, кафедр и преподавателей. Потребуется каждое задание по предмету закреплять по требуемой компетенции из РПД, включая смежные. И каждую компетенцию по каждому предмету обеспечить заданиями. Это могут быть не только тесты, но и семинары, лабораторные работы и т.д. Учебное управление должно проверить, чтобы смежные компетенции были обеспечены заданиями. Не буду пересказывать инструкции и все технические шаги в Moodle, хотя глубоко в них разобрался. Дето в том, что обязательно кто-то спросит: зачем нам эта гигантская работа, если при аккредитации никто эти уровни даже смотреть не будет? Зачем нам эта дополнительная нагрузка, если всё равно в зачетку ставится только одна оценка? Зачем работодателю какие-то вузовские уровни компетенций, если в конкретной отрасли экономики есть свои проф. стандарты? То есть с Moodle вообще нет никаких технических проблем. Проблема другом: в системе управлением образованием. В идеале вузу нужно провести локальный педагогический эксперимент в течении одного семестра на двух-трех дисциплинах, посчитать увеличение трудозатрат и штатной численности, ввести дополнительные нормативы педагогической нагрузки. То есть нужна внутренняя НИР. Но этого никто делать не станет. И денег нет, и смысла для аккредитации нет. А для ректора аккредитация самое главное. Всё проще в корпоративном обучении. Корпораты иногда уровни измеряют, в т.ч. в Moodle. Поскольку корпораты часто имеют внутренние проф. стандарты. Но это тоже бывает редко. Могу обрадовать тем, что измерение уровней компетенций даже в странах болонской системы тоже не прижилось. Применяются измерения уровней, во-первых, по усмотрению организаций, во-вторых, крайне редко. Наиболее ярко измерение уровней компетенций можно наблюдать в некоторых бизнес-секторах и в некоторых вузах за рубежом, когда обучение, трудоустройство и поиск работы основаны на единых проф. стандартах и доказательными уровнями компетенций выпускника. В России такой связки пока нет и, похоже, не скоро будет. Если потребуются детальные консультации по составлению фреймворков компетенций в организации и расчету нормативов затрат на реализацию модели измеряемых уровней компетенций, сообщайте. Эту работу целесообразно начинать в том случае, если есть отраслевые проф. стандарты для тех направлений подготовки, которые обеспечивает вуз. Тогда появится интерес у всех участников образовательного процесса, включая работодателей. Ради формальности такую работу лучше не начинать.


В ответ на Екатерина Тюрина

Re: Тестирование на знание компетенций

от Vadim Dvorovenko -
Изображение пользователя Developers Изображение пользователя Майнтейнер перевода

Поддерживаю Юрия. Екатерина, даже из вашей постановки задачи видно, что есть проблемы с моделью компетенций, ведь вы предлагаете тестировать ЗНАНИЕ компетенций, хотя знания находятся в таксономии ниже компетенций.
Основная проблема компетентностной модели в том, компетенции, в принципе, неизмеримы прямым путем. Только по каким-то косвеным признакам можно оценить, сформирована ли компетенция или нет. Поэтому с помощью тестов никогда не будет возможно измерять компетенции. И, наоборот, ошибки даже во всех вопросах теста не являются подтверждением того, что у человека не сформирована компетенция. Всё потому, что компетенции и компетентность - это про умение человека решать проблемы в своей профессии используя всю доступную информацию и доучиваясь на ходу, а не про отвечание на вопросы теста в ограниченное время без возможности пользоваться источниками информации и доучиваться.
Из того, что хоть как-то сейчас позволяет оценивать сформированность компетенций, могу отметить наблюдение за студентами во время практики и ситуационные задания на экзаменах, когда есть возможность наблюдать, как именно студент решает задачу.

Теперь к тестам. Вы хотите тест, за который будет оценка по N шкалам, где каждая шкала отвечает за конкретную компетенцию. Таких тестов в moodle нет. Или configurable report, через который будете делать анализ по отдельным категориям вопросов в вашей структуре, или отдельные тесты, тогда в журнале каждая оценка будет отдельно. Вы сами все эти варианты уже озвучили, поэтому уверен, что хорошо понимаете, что делаете.

Но прежде чем приступать к выбору решения, расскажите, что вы будете делать с результатами? Представьте, у вас уже есть супер модуль для тестов, который выдаст, что на вопросы из категории УК-1-ИУК-1.2 студент ответил на 37%, на категорию УК-2-ИУК-2.7 на 94%, а на УК-3-ИУК-3.2 - вообще на 0%. Что вы будете дальше делать с этими числами? Как вы из этого сделаете вывод, сформирована ли у студента итоговая компетенция?

В ответ на Vadim Dvorovenko

Re: Тестирование на знание компетенций

от Екатерина Тюрина -
Спасибо всем за информацию. Будем думать дальше, что с этим делать. Может появится еще какая-то дополнительная информация.