Como hace poco tuve que ayudar a otra persona con un problema muy parecido, copio y pego aquí lo que le sugerí:
Lo primero que haría es usar la página de depuración del filtro TeX que viene con Moodle. Esa página no está accesible desde ningún menú de Moodle (que yo sepa), así que hay que teclear la dirección directamente en el navegador.
Para ello, una vez habilitado el filtro, puedes ir a la dirección
http://mi.sitio.moodle/filter/tex/texdebug.php
Allí te permite hacer varias operaciones con la expresión LaTeX que indiques en la casilla de la zona superior (que tendrá una expresión LaTeX válida de ejemplo la primera vez que accedas). Luego elige la opción 3 ("Show a graphic image of the algebraic expression rendered with mimetex.") y pulsa el botón "Do it!".
Debería aparecer una imagen representando la expresión LaTeX en la casilla grande de la zona central. Si no aparece, prueba con la opción 4 (" Show a graphic image of the algebraic expression rendered with Tex/Ghostscript.") a ver si hay más suerte.
Si con ninguna de las dos aparece la imagen con la expresión correcta, entonces conviene activar las opciones de depuración para obtener información adicional sobre lo que puede estar pasando. Para ello hay que ir a "Administración del sitio >> Desarrollo >> Depurando" y poner el ajuste "Mensajes de depuración" al valor "DESARROLLADOR: ....", y el ajuste "Mostrar mensajes de depuración" al valor "Sí" (casilla marcada).
Y cuando hayamos hecho eso, volver a la página de depuración del filtro TeX de antes y escoger la opción 5 (" Show command execution output from the algebraic expression rendered with Tex/Ghostscript.") y pulsar el botón "Do it!". Deberían aparecer varias líneas con lo que Moodle está tratando de hacer y, con suerte, algunas de ellas nos dirán que es lo que puede estar fallando.
A ver si con esto somos capaces de dar con el problema (en su caso era que el proveedor de alojamiento tenía prohibidas ciertas funciones de PHP que son absolutamente esenciales para el filtro de TeX).
Saludos.
Iñaki.