Hola Juan Carlos
La capacidad que debe tener un servidor no depende tanto del número de cursos y de alumnos como de la actividad que se realice en él.
Por ejemplo, necesitarás mucho más espacio en disco, capacidad de proceso y ancho de banda si cargas vídeos en el propio servidor que si los enlazas a un servicio externo (YouTube, VImeo...).
No es tan importante el número de alumnos dados de alta en el sitio como el número de alumnos que trabajan concurrentemente. Este factor afecta a la RAM necesaria.
Las versiones más recientes de Moodle, las 2.x, tienen más requerimientos que las versiones anteriores (también tienen más prestaciones)
Te enlazo un artículo que publiqué en mi blog donde se analiza con más detalle esta problemática.
Aspectos a tener en cuenta a la hora de seleccionar hosting para alojar Moodle.
Por otra parte, los problemas que comentas pueden tener que ver con problemas de rendimiento del servidor, pero requieren de un análisis más detallado por tu parte; puede ser problema de configuación del PHP, puede ser problema de rendimiento de la base de datos, puede tratarse de un bug de la versión de Moodle que estás utiliando,.....
Espero haberte ayudado. Un saludo