Conseil juridique sur droit de propriété

voila j'ai un probleme, mes grands parents mon fait une donnation d'un bout de leur terrain, il y a un fosse mitoyen qui a ete borne par mon geometre, sur mon cadastre j'ai le droit a le moitie du fosse, mais mon voisin avait fait construire un mur et un portail,il ne veut pas le retirait car il dit que mes grands parents n'avait j'avait rien dit (il n'y a aucun papier de signer)sinon il me demande 5000 euro pour les trvaux qu'il a effectuer.mon geometre doit le rencontrer, si il n y a pas plus de réponses que dois-je faire ?