Invasión servidumbre carretera - Compraventa de terreno

Buenos días.
Tengo un terreno limítrofe con carretera nacional y hace 10 años coloqué una piscina dentro del límite de la servidumbre, apenas un metro y medio.
En ese momento desconocía dicho límite.
Algunos años después, técnicos de Fomento y el mismo ingeniero, inspeccionaron unos árboles en el talud de la carretera y lo hicieron desde mi finca. En ningún caso me indicaron que la piscina invadía el límite.
En las escrituras y Registro no figura la carga.
Ahora me indican la apertura de expediente por invadir la servidumbre.
Algún consejo?. Un saludo y gracias