Tu peux tout simplement séléctionner la partie à supprimer et appuyer sur Suppr (ou Ctrl+K dans les version antérieures).
Le choix d'un outil de séléction te revient (selon que tu veux faire un rectangle, un ovale ou une forme complexe).
Tu peux également séléctionner ce que tu veux garder, puis inverser la selection à l'aide de Ctrl+I.
Si ce que tu supprime devient blanc au lieu de transparent, c'est qu'il n'y a pas de canal alpha (transparence) à ton calque. Tu corriges cela en cliquant droit sur le calque en question (généralement l'arrière plan) et en choisissant l'option "Ajouter un canal alpha".