Hola Jota...
lo que requieres no es realmente algo de Moodle sino de la herramienta que estás usando, que según veo es camtasia. Tendrías que revisar si camtasia tiene una opción para cerrarse al terminar pero yo considero que lo mejor es desplegar un botón al finalizar el video para que sea el usuario quien cierre el paquete y regrese al curso. Busca en la herramienta a ver si tiene una opción para agregar ese botón, sino, tendrías que agregarlo manualmente (por programación) o darle la indicación al estudiante de que cierre la ventana según la manera como lo despliegues.
Saludos