Entiendo que no es recomendable eliminar usuarios directamente en la base de datos, justamente porque podría quedar algo residual como dices, o quedar elementos huérfanos. Es raro que luego de eliminarlo siga quedando algo como dices.
Esperemos a ver si algún otro miembro de esta comunidad puede agregar algo que ayude a comprender qué está pasando, y a resolver tu problema.