Hola Yerko,
El error en cuestión pudiera ser atendido con base en lo que se indica en este foro externo a Moodle (el problema no es de la plataforma, sino de tu servidor).
Quizá puedas probar la solución y verificar si se arregla lo de la mensajería.
Sin embargo, yo pienso que las cuestiones de la mensajería tienen más bien que ver con la configuración del servidor de correo (SMTP).
Si solucionas el problema inicialmente marcado y puedes enviar mensajes, pues ya para qué le movemos a lo del SMTP