J'ai commencé par FireFTP mais honnêtement cette extension est toujours loin d'être au point....
La solution est d'installer l'extension IETab qui permet d'ouvrir certaines url dans Firefox avec le moteur d'IE.
Avec IETab, il suffit d'ajouter la valeur "ftp://" dans la liste des sites à ouvrir et c'est radical, il les ouvre dans un nouvel onglet et sous forme de dossier ! Encore plus pratique qu'en passant directement par IE !