Hola, en mi experiencia para los vedeos es recomendable usar el formato FLV, por que es el mas utilizado para web, ademas todos los reproductores de web lo soportan incluyendo el de moodle.
Con respecto al programa puedes usar cualquiera lo que puedesa hacer es que despues lo exportas al formato flv (si el programa lo permite y sino entonces lo conviertes con algun programa que lo permta).
Para subirlo, usas el administrador de archivos de moodle dentro del curso, lo subes y listo.
Para ponerlo en funcionamiento tienes muchas opciones, desde utilizar alguna activiadad que permita poner videos o incrustarlo por medio de htlm, ademas puedes utilizar otro reproductor (existen muchos reproductores gratuitos).
En fin existen muchas formas distintas de poner un video en moodle, puedes tammbien usar algun servicio externo como el caso de vimeo o yuotube, donde alogas tus videos y en moodle los incrustas de esta forma lo tendrias posteado!
Espero que sea de tu ayuda!
SALUDOS