Si cela ne le fait qu'avec ce fichier je ne sais pas trop quoi te dire, si ce n'est d'essayer avec une autre version de ce logiciel :
http://labs.divx.com/DrDivX
Avec VirtualDub, tu peux scinder ton fichier en deux ou plus partie sans rien modifier s'il s'agit d'un fichier en AVI, c'est peut-être un problème de taille, puis d'encoder avec Dr DivX.
Mais sans vouloir te contredire, mais en théorie, passer d'un fichier de 2 Go à un de 200 Mo entraine forcement de la perte, puisque tu compresses par 10 ton fichier ! Après, si tu estimes que le rendu te satisfait tant mieux ;)
Après, je ne sais pas quoi dire de plus,
A+