No a když to budoval (ten plot a cestu), tak od vás (či předchozího vlastníka) měl souhlas, když to je z půlky na vašem pozemku? Jestli je to totiž fakt cesta, po které se dá třeba přijet k sousedovu domu/pozemku, tak by to mohlo splnit kritéria pro vznik účelové pozemní komunikace, tedy reálná existence (patrnost v terénu), plnění komunikační potřeby a souhlas vlastníků pozemku, tedy vás a kraje (alespoň konkludentní).
V takovém případě by pak celá věc měla dost jiný rozměr, než jen nějaký hraniční spor o to, čí je plot. Proti brance byste se mohl efektivně bránit (ta účelová komunikace vede částečně po vašem pozemku a může i vám sloužit, takže omezení vůči vám je nesmyslné, navíc omezení užití účelové komunikace se nedělá tak, že někdo svévolně postaví branku ...), ale na druhou stranu bude dost obtížné to otočit, tj. omezit užívání té cesty sousedem či ji úplně zrušit, pokud to je to, co chcete. Kdybyste si třeba na svoji část pozemku té cesty navezl hromadu hnoje, tak máte problém, že omezujete užívání té komunikace, jestli vznikla, tak vaše vlastnické právo je existencí účelové komunikace ve smyslu zákona 13/1997 Sb. omezeno.