Refus Permis construire : accès dangereux

Bonjour,
Mon permis de construire vient d'être refusé car terrain situé en bordure de route département avec accès considéré comme dangereux (visibilité)
Pourtant, le terrain mitoyen avec une ferme rénovée a bénéficié d'un arrêté avec accord provisoire d'utiliser ce même accès !!!!
Cet arrêté prévoit un accord provisoire de cet accès pour la ferme et pour un usage agricole (à l'époque notre terrain n'était pas constructible). Ce chemin a pourtant été réaménagé aux normes DDE (bateaux sur les côté du chemin, largeur...)
Je précise que toutes les constructions existantes tout au long de cette RD sortent directement sur la-dite RD dangereuse (voisin mitoyen, voisin d'en face...)
Que faire ?
Merci