N'installes pas xfree86 installe directement xorg. Exemple chez moi, j'ai mis :

ii  xserver-xorg-core                1.0.2-9                     X.Org X server -- core server
ii  xserver-xorg-input-evdev         1.0.0.5-2                   X.Org X server -- evdev input driver
ii  xserver-xorg-input-kbd           1.0.1.3-2                   X.Org X server -- keyboard input driver
ii  xserver-xorg-input-mouse         1.0.4-3                     X.Org X server -- mouse input driver
rc  xserver-xorg-input-wacom         0.7.4.1-3                   X.Org X server -- wacom input driver
ii  xserver-xorg-video-dummy         0.1.0.5-2                   X.Org X server -- dummy display driver
ii  xserver-xorg-video-fbdev         0.1.0.5-2                   X.Org X server -- fbdev display driver
ii  xserver-xorg-video-nv            1.0.1.5-2                   X.Org X server -- NV display driver
ii  xserver-xorg-video-v4l           0.0.1.5-1                   X.Org X server -- Video 4 Linux display driv
ii  xserver-xorg-video-vesa          1.0.1.3-2                   X.Org X server -- VESA display driver
ii  xserver-xorg-video-vga           4.0.0.5-2                   X.Org X server -- VGA display driver
ii  xserver-xorg-video-via           0.1.33.2-3                  X.Org X server -- VIA display driver

... pour un chipset via (ma carte mère) et le driver libre nvidia. A toi d'adapter, le plus simple étant de sélectionner les paquets à installer avec aptitude (+ pour marquer un paquet à installer, puis g,g quand tu as tout sélectionné). Ensuite installes le window manager de ton choix (gnome, kde, icewm...).
Ensuite si le script de configuration ne se charge pas de lui-même, tape en root :

dpkg-reconfigure xserver-xorg

Ce sera notamment l'occasion de choisir de lancer kdm/gdm au démarrage pour te logger en graphique. Ensuite une fois que tout est près, si par exemple tu utilises kdm :

/etc/init.d/kdm restart

Si tout est correctement configuré tu devrais voir le mode graphique s'afficher (ctrl alt f7). Sinon il y a une erreur dans ton fichier de configuration /etc/X11/xorg.conf. Pour voir où est le problème il suffit de regarder dans /var/log/Xorg.0.log ce qui s'est passé, puis corriger le problème soit en modifiant directement /etc/X11/xorg.conf, soit en utilisant la commande :

dpkg-reconfigure xserver-xorg

Bonne chance