Os solicito asesoramiento

Creo que no me he explicado bien, la cuestion es la siguiente:
Voy a vender una vivienda que no es mi domicilio habitual y con el dinero de la venta invertirlo en otra vivienda la cual va a ser "vivienda habitual" bueno pues planteado estoen Hacienda me dicen lo que sigue:

Me presento en person en la delegación de mi ciudad y expongo la duda:
Me contestan que debo de pagar aún invirtiendo el dinero en otra vivienda.
Llamo por teléfono a la agencia Tributaria y me contestan que si lo invierto en otra vivienda estoy exento los dos primeros años.
¿Quien me dice la verdad?
No es el motivo el no pagar, es pagar o no pagar dentro de lo legal.
gracias