qué servidor smtp has instalado? sendmail, qmail...?
En cualquier caso, puedes probar poniendo el smtphost y dejando el user y el pass en blanco. Activa también el debug y eso debería mostrarte un montón de información al enviar el mensaje.
Dime si así te aparece algo....ciao
PD: Por cierto, que el servidor que has montado es público o privado? Lo digo porque echándole un vistazo (con una cuenta temporal) a lo mejor podría darte alguna pista más...