ISO est plus ancien. Il était historiquement utilisé pour les CD.
Mais avec sa limite de 2 Go, c'est trop juste pour les DVD.
UDF est juste un système de fichiers différent (une manière d'organiser les fichiers sur disque, comme FAT32, NTFS, ext3...).
ISO a d'autres limitation: par exemple, impossible d'enregistrer des chemins de plus de 255 caractères, impossible d'enregistrer les droits concernant les fichiers, etc.
Tous les DVD qu'on trouve dans le commerce utilisent le format UDF.