Routeur Belkin Wireless, pas de connexion web

Bonjour,
j'ai fait l'acquisition d'un routeur sans fil Belkin N wireless (modèle F5D8233-4v3) mais je n'arrive pas à me connecter à internet en wifi. Mon réseau est le suivant:
- 1 PC (Windows XP) branché par câble au routeur
- 1 PC portable (Vista) branché en wifi
- 1 Macbook (Os X leopard) branché en wifi
- 1 modem adsl branché au routeur

Après la configuration du routeur, tous les témoins sont au vert (en fait au bleu sur le routeur ;-) ). Je peux me connecter à internet par le PC branché par câble sans problème. Mais mes portables ne peuvent pas. J'ai rentré mes informations données par mon FAI dans la page de configuration du routeur "internet". A présent, j'ai essayé différentes configurations et voilà ce que ça donne en résumé:

Routeur mode Point d'Accès désactivé
Tous les témoins sont allumés et il me suffit de lancer Firefox sur le PC branché par câble pour accéder à internet. Le réseau wifi fonctionne (je vois mon portable Win, je ne vois pas mon Mac mais c'est un autre problème). Le comportement reste le même si je sécurise (par clé WEP) ou pas le réseau (normal!)

Routeur mode Point d'Accès activé
Les témoins "modem" et "internet" ne sont plus allumés. Pour pouvoir accéder à internet depuis le PC branché par câble, je dois créer une connexion (identifiant+ mot de passe du FAI) et la lancer. Le réseau fonctionne comme précédemment.

A noter qu'au début, j'avais laissé le routeur en serveur DHCP mais il attribuait des adresses IP au-delà du pool défini. Donc j'ai aussi testé avec des adresses IP fixes pour les machines et je suis resté sur cette option
Il semblerait également que je n'arrive pas à partager la connexion internet lorsque je connecte mon PC portable par câble au routeur.

J'ai bien essayé de regarder un peu partout sur le web mais la plupart des messages de problème sur ce routeur commencent par "réseau + internet ok" donc je dois oublier de faire quelque chose mais je n'ai plus beaucoup d'idées. Les seules grosses différences de comportement sont liées au mode "Point d'accès" du routeur. Si vous pouviez m'aider ce serait super sympa!!

PS: il y a 1 ou 2 ans j'avais réussi à créer mon réseau wifi par une livebox assez facilement et j'ai donc crû que c'était facile... Mais non :'(