Штатными средствами такое решить нельзя.
Обмен сообщениями осуществляется в контексте сайта, а роли (в основном) назначаются на уровне курса. Один и тот же человек может быть в одном курсе преподавателем, а в другом - студентом.
Можно полностью отключить систему сообщений на сайте.
А для обмена сообщениями использовать дополнительный активный элемент - Диалог (Dialogue)
Диалоги могут быть нескольких типов. Один из них - между преподавателем и студентом. Такой диалог может быть начат и студентами и преподавателями. В списке пользователей преподаватель видит только студентов, а студенты только преподавателей.