К несчастью, HTTP и SMTP сильно различаются и поэтому http-прокси можно использовать только для доступа к веб-сайтам, а почту через него отправить всё-равно не получится.
Поэтому в любом случае стоит переместить сервер туда, откуда соединения не ограничены брандмауэром, чтобы соединения к smtp-серверу проходили правильно. Возможно у Вас это так и есть (обычно, настраивая в организации доступ через прокси, режут 80 и 443 порт, а остальные не режут). Проверьте с командной строки сервера команду
telnet адрес_smpt_сервера 25
Если соединение есть и порт открыт, то отлаживайте отправку почту средствами moodle. Также проверить отправку почты с сервера можно консольной программой sendmail
Ещё проверьте, как у вас настроен DNS на этом сервере. Возможно, что все проблемы с соединениями исключительно из-за того, что dns-имена не преобразуются в ip-адреса (а прокси делает это)