Vitorio,
Si bien nunca he realizado un cambio de este tipo, probaría por modificar el proceso de subida de archivos en "files/index.php" o en "lib/uploadlib.php" dentro de Moodle. Allí, podrías filtrar el tipo de archivos permitidos para subir.
Saludos.