Hola, David.
No te puedo responder a tu primera pregunta, pero a mí me parece que lo más habitual es esto: cualquiera se puede registrar en la plataforma, pero cuando elige un curso que quiere hacer es cuando paga por matricularse. Igual, con ese mismo usuario podrá matricularse más tarde en otros cursos de la misma plataforma.
Sobre lo segundo, depende de cómo te plantées ese curso libre. Si quieres que cualquier persona puede acceder a los contenidos de ese curso, ver documentos, textos, vídeos, etc. pero sin pedirle que realice ningún tipo de actividad (ni participación en foros, ni cumplimentar cuestionarios o exámenes, no se obtiene ningún certificado ...) bastaría con que en ese curso habilitaras el acceso de "Invitados" (es una funcionalidad estándar de Moodle). Para ello no hace falta que esas personas se hayan registrado como usuarios de tu plataforma.
Por el contrario, si ese curso libre debe permitir que los alumnos respondan cuestionarios o exámenes, participen en foros y si superan ciertas pruebas, obtengan un certificado, lo que tendrías que habilitar en ese curso es el sistema de "auto-matriculación". En este caso, los estudiantes tienen que ser previamente usuarios de la plataforma (auto-registro, u otro sistema).
Saludos