Finalement, j'ai réussi à faire la chose via les divers tutoriaux explicatifs.

Tout d'abord, comme explicité dans le HOWTO en anglais de openvpn.net, ajouter au fichier config du serveur :

push "redirect-gateway def1"
push "dhcp-option DNS ip_VPN_du_serveur"

bien sûr, le fichier de config du client doit contenir l'instruction :

pull

Ces paramètres obligeront windows à utiliser le tunnel pour tout service internet (pas besoin donc de configurer le proxy sous le navigateur. D'ailleurs, je crois même qu'il ne le faut pas)

source : http://www.openvpn.net/index.php/open-source/documentation/howto.html#redirect

Ensuite, il faut configurer le firewall d'ubuntu de façon à ce qu'il partage la connexion internet sur l'interface eth0 avec l'interface tun0.

Sources : http://www.nbs-system.com/dossiers/howto-openvpn2.html#firewall
ET : http://doc.ubuntu-fr.org/partage_de_connexion_internet

Donc dans le terminal, lancer cette séquence d'instructions :

sudo iptables -t nat -A POSTROUTING -s 192.168.10.0/24 -o eth0 -j MASQUERADE <---192.168.10.0 est l'hote du VPN
iptables -A INPUT -i tun0 -j ACCEPT
iptables -A FORWARD -i tun0 -j ACCEPT
iptables -A FORWARD -o tun0 -j ACCEPT
iptables -a OUTPUT -o tun0 -j ACCEPT

Enfin, cette source documentaire explique comment exécuter ces instructions automatiquement lors du démarrage : http://doc.ubuntu-fr.org/iptables (NOTE : 1- faites nano /etc/init.d/moniptables pour créer le script. 2- privilégier l'ajout du fichier dans /etc/rc.local

Voilà. N'hésitez pas à revenir sur les sources que j'ai indiquées en cas de soucis.