Redirection de port un peu particulière

Salut la compagnie,
Je vous mets dans le contexte :
Je tiens un serveur de jeu sur un VPS sous Ubuntu. Seulement, sur mon serveur il y a deux frères. Un mec sympa, et un mec chiant. Le chiant fait vraiment chier les autres. Et pour cela je l'ai ban. Le problème c'est que le ban ce base sur l'IP du joueur, donc le bon gars est ban aussi.

Je partais sur une redirection de port. Ils ont une IP statique, donc je bloquerais le port du jeu pour leur IP, et je donnerais au bon gars un nouveau port de connexion qu'il garderait pour lui.

Pour faire simple je pensais à ça :

iptables -A INPUT -s xxx.xxx.xxx.xxx -i eth0 -p udp --dport 7777 -j DROP
iptables -t nat -s xxx.xxx.xxx.xxx -p udp --sport 3434 --to-port 7777 -j dnat

ou un truc semblable (je maitrise pas encore parfaitement iptables)

donc en gros le port du jeu est 7777
Mon idée serait de donner au bon joueur l'ip du VPS et un autre port (genre 3434)
et ce port redirigerait vers 7777. Mais ça ne marche pas. Je pense que c'est parce que lors de la redirection, ça reste la même IP et donc celle ci reste bloquée (ce qui semble logique)
Donc je commence à secher. Auriez vous les bonnes commandes ou une idée très proche ? Je sais que ce n'est pas la meilleur solution, vous me direz surement "ça sert à rien psq le gars peut donner le port à son frere" et vous avez raison, mais j'ai parlé avec le gars et il m'a assuré qu'il ne le ferait pas psq il n'aime pas quand son frère fout la merde.
Bref la je raconte ma vie. Donc merci d'avance pour votre aide et bonne soirée/journée