Hola Cindy,
Como comenta Eder, en la versión que usas, Moodle trae el editor Dragmath por "default" (antes había que hacer una serie de cosas para incorporárselo a la plataforma).
Sin embargo, como también ha indicado Eder, tienes que cumplir varios requisitos antes de utilizarlo.
Idealmente, en el servidor debiera estar instalado una "implementación" de TeX/LaTeX.
Si esto no te hace mucho sentido, has de cuenta que estamos hablando de una especie de entorno que se instala en el sistema operativo.
Como esta configuración no es siempre posible (esto lo debe definir el administrador del servidor), el propio Moodle trae un archivo binario o ejecutable, que es usado por la aplicación si no se cuenta con la "implementación" de TeX/LaTeX.
En este sentido, uno debe verificar que dicho archivo, ubicado en "[moodle]/filter/tex" tenga permisos de 505.
Esto aplica más bien a los servidores GNU/Linux, y en ellos, el binario a configurar se llama "mimetex.linux".
Una vez verificada esta cuestión de los permisos, hay que activar el filtro correspondiente:
Bloque "Administración" -> Sección "Administración del sitio" -> Extensiones -> Filtros -> Gestionar filtros -> Del lado derecho, activar "Notación Tex" eligiendo la opción "Conectado" del catálogo o persiona desplegable que tiene asociado.
Asimismo, en la columna "Aplicar a", elegir "Contenido".
Importante: Si tu servidor tiene instalada una implementación de TeX/LaTeX, entonces no hay que darle permisos de 505 al binario (puede optarse mejor por 404 o 400), y más bien debe configurarse la parte de "Filtros -> Notación TeX". Esto, después de habilitar el filtro como se indicó más arriba.
Ahora sí viene lo que dices.
Entro al área de publicación de un recurso o actividad y doy clic en el ícono de edición de ecuaciones del editor HTML.
Aquí se presentan muchos problemas, que en realidad no tienen relación con Moodle.
Yo pienso que de un tiempo para acá las compañías interesadas en el mercado de Internet, han entrado en una especie de batalla campal, que sólo afecta negativamente a los usuarios.
Los navegadores están inhibiendo el despliegue de los recursos hechos en Java, con el argumento de que son inseguros y están "protegiendo" a los usuarios.
Si bien hace unos meses (o quizá un año), se descubrió una vulnerabilidad fuerte en Java, de ahí se agarraron varias empresas que tienen navegadores, para bloquear esta tecnología.
Hay también muchos bloqueos por el lado de los antivirus instalados en los equipos Windows.
El argumento es el mismo "la seguridad del usuario".
No tengo pruebas, pero en lo personal, me parece una estrategia/actitud muy dañina el que las compañías se tomen atribuciones que no les corresponden, sobre todo, porque quieren encubrir sus intereses comerciales con "protección a nuestros usuarios".
Lo que en realidad debieran hacer, sería informarle a las personas como configurar o desconfigurar cierta parte de un navegador o de un sistema operativo, en función de sus propias decisiones en torno a si quieren o no ejecutar algo en Java o en Flash o en lo que sea.
Pero esto no pasa, y lo único que tenemos es problemas técnicos que nosotros no generamos.
Por esta razón -y otras circunstancias- en la nueva versión de Moodle ya no se usa Dragmath, sino, como menciona Germán, otra herramienta.
Bien, en tu caso primero verifica que tu instalación de Java es la correcta.
Para ello entra aquí:
http://www.java.com/es/download/installed.jsp
Da clic en el botón "Verificar la versión de Java".
Aquí podemos saber si Java está funcionando bien en tu máquina.
Si todo sale bien, entonces del instalador original de tu Moodle, copia nuevamente la carpeta "dragmath" en el servidor. Su ruta es: [moodle]/lib/dragmath
Si haces todo lo indicado, creo que no debieras tener problemas con el editor de ecuaciones.
Pero si los problemas persisten, prueba primero en otra máquina (Ej. en un cibercafé).
Si todo sigue igual, entonces presiona el botón "Detalles" de la pantalla que nos muestras, y coloca la información respectiva por estos foros.
Saludos
PD No descartaría lo sugerido por Víctor, en el sentido de que pruebes si tu Moodle es capaz de generar ecuaciones independientemente de si se usa o no Dragmath. Para ello, coloca en el editor HTML algo como: $ $ \sqrt[2]{x} $ $ (sin espacios entre los signos de $), que te da la fórumla de la raíz cuadrada de "x".