Hola, Pedro
Tal como describes la configuración en tus cursos, al prohibir Acceder a todos los grupos (accessallgroups) en los permisos del rol de Profesor sin permiso de edición (teacher), y asignar cada uno de ellos sólo a su grupo respectivo, no debería poder ver sino a sus propios alumnos. Es raro que no te funcione así.
Saludos,
Alejandro