Continuei fazendo mais alguns testes para ver se resolvia sem ter que usar um serviço de email marketing, no primeiro teste configurei o smtp com o endereço de outra hospedagem que temos, nessa hospedagem temos todos os emails inclusive o endereço de e-mail que uso para informar um contato para suporte no moodle, os emails foram enviados normalmente.
Pensei que poderia ser o domínio que estava em black list, mas não fazia sentido pois temos duas instalações do moodle nessa mesma hospedagem, apenas em subdomínios diferente, e uma delas funciona normalmente, ou seja o ip da hospedagem não estava bloqueado.
tirei toda configuração de smtp da segunda hospedagem e fiquei mexendo em algumas configurações como a de "Mailings do Fórum e trabalhos de manutenção" e retirei as notificações de quando o aluno envia uma atividade, achei que isso diminuiria a quantidade de emails por hora e não atingiria o limite que o gmail e outros serviços de e-mail aceitam, mesmo assim não funcionou.
Por fim resolvi mudar o e-mail de contato do suporte técnico do moodle, tirei o que era da outra hospedagem e coloquei um que é da mesma hospedagem do moodle, e ai o envio de mensagens por e-mail funcionou.
minha duvida agora é: Existe alguma relação entre o e-mail de suporte do moodle e o smtp que esta sendo usado? lembrando que como não deixei ele configurado ele esta pegando a configuração padrão do php.