Tienes al menos dos opciones muy simples. La primera sería poner una contraseña al curso, de forma que sólo los que conozcan la clave se podrán matricular. Otra consistiría en ajustar los cursos a CERRADO en la configuración del sitio, en ese caso no podría matricularse nadie, tan solo podría matricular el profesor o el administrador, a través del enlace de asignar roles del curso. Un sencillo tutorial que lo comenta:
http://fpmantenimiento.es/tutormoodle/configuracin_bsica_de_un_curso.html
Salu2
W