Bon finalement après plusieurs essais j'ai pu trouver une solution.
Ce que j'ai pu identifier : mon serveur de développement, bien qu'ayant une config égale à mon serveur de prod présente des lenteurs et le temps de l'aller-retour entre mon CAS en prod et moodle en dév est trop long, du coup le TGT à expiré au moment où il est lu par phpCAS.
J'avais encore un serveur CAS dans mon environnement de test et là ça fonctionne.
Une fois remonté en prod, j'ai pu faire une synchro avec le LDAP.
Donc pb résolu.