Ficus Retusa (nitida?) En Detresse...

J’ai un sérieux problème avec mon ficus retusa/nitida (vendu pour un nitida, mais ressemblant beaucoup à un retusa…).
Dès lors que je laisse lignifier, il se déplume. Résultat, je n’ai des feuilles qu’au bout de longues branches, fines. De plus certaines branches sont vraiment pourvus de 2 feuilles maxi… C’est pas jolie, et j’ai déjà perdu un morceau de branche charpentière. je ne sais plus quoi faire.
La première année, il était superbe, deux feuilles de perdu, et pas mal de nouvelles pousses. J’ai toujours essayé de tailler en respectant les règles de bases, mais à son retour de garde (1 mois en été), il a commencé à perdre pas mal de feuilles. J’ai mis ça sur le dos du changement d’endroit, mais une fois stabilisé, ce "cycle" de chute de feuilles c’est reproduit à plusieurs moments. La période de canicule a accentué l’effet, mais il s’ai refait une santé à septembre/ Octobre, juste avant que je ne le rentre, et là rebelote il a perdu un max de feuilles.
J’ai volontairement sauté le rempotage en mai dernier, pour le defolier et essayer de structurer les plateaux, mais son état ne m’a pas donné envie de tenter l’expérience.
Quelqu’un a-t-il une idée sur le probème?
Je précise, que je n’ai pas mis d’engrais depuis quelque temps, mais simplement du "tonus v", a priori suffisant d’après le magasin.
Peut-on envisager une "taille en arrière" au printemps un peu après le rempotage, où ça sera trop violent?