Compte non annulé par sa banque

Il y a assez longtemps, j'avais demandé - par téléphone, la clôture d'un compte bancaire ouvert dans une agence parisienne. Mon interlocutrice avait bien enregistré mon souhait.
Par la suite, aucun courrier ne m'a été adressé et là, récemment, par message téléphonique, il m'est demandé de régulariser ce compte qui présente un débit de quelque 90 euros.
Pour moi ce compte n'existait plus et j'avais donc aucun besoin d'aller le consulter par Internet.
Or, je constate à présent que des frais de consultation Internet (1,90 € par mois) sont régulièrement portés au débit ainsi que des frais pour prélèvement automatique qui n'avait pas été supprimé par la banque.
Que puis-je faire à présent ?
Merci.