Etes vous bien certain que le RJ11 s'adapte dans le RJ45? Peut-être, mais je n'étais vraiment pas au courant! Admettons...
Bon après quelques recherches, FT recommande bien de poser des RJ45 en étoile depuis 2003, ce qui semble être ton cas. Si c'était moi, je le ferais évoluer pour pouvoir aussi utiliser ces prises pour raccorder des PC en Ethernet (le téléphone utilise une paire, Ethernet deux et le câble en comporte 4).
Dans tous les cas, le signal au niveau des RJ45 n'est pas filtré! Le filtre fonctionne ainsi: coté prise T mâle arrive le signal depuis le réseau. Il comporte a la fois des signaux téléphonique et des signaux ADSL. Hé bien le filtre sépare les deux: d'un coté tu as la prise T femelle sur laquelle sont émis les signaux pour un éventuel téléphone, et de l'autre la prise RJ11 à la base du filtre sur laquelle sont émis les signaux ADSL à destination du modem. Dans ton cas, que le filtre soit branché ou non peu importe puisque la box n'est pas branchée dessus. Elle est branchée directement sur le réseau, du côté prise T mâle du filtre. Pour fonctionner, elle ne doit recevoir que les signaux ADSL alors qu'en l'occurrence elle reçoit les signaux téléphone aussi. Si tel est le cas, voici ce qu'il te faut: http://www.abix.fr/filtre-adsl-rj45-rj11,article,280390.html
Ça te permet de filtrer ta box sans revoir le câblage de l'armoire. Il jouera le même rôle que le filtre en T sauf que celui-ci est prévu pour du RJ45 côté prise murale.