Hola.
Me resulta extraña la frase en que dices: "... más allá de que deba tener ese estatus en el sistema".
Me da la impresión de que piensas que para que una persona sea estudiante en un curso, tiene que tener un rol de "estudiante" a nivel de toda la plataforma, y NO es así. En la mayor parte de las situaciones normales, los roles se han de asignar a nivel de curso, evitando asignar roles globales (salvo casos excepcionales).
Y ahora ya, respondiendo a tu pregunta concreta. Suponiendo que estés trabajando con las últimas versiones de Moodle (siempre se debe indicar la versión a que se refiere una pregunta), el método de matriculación que se denomina "Auto-matriculación" sí que permite indicar el número máximo de estudiantes que podrán inscribirse a un curso. En la imagen siguiente puedes ver el apartado concreto:
