Dinero de la cuenta vivienda

Hola amigos,a ver si podeis aclararme varias cosillas:

estoy a punto de comprar un piso q me cuesta 150.000 euros,pero queremos escriturar a 130.000 (para poder pagar solo el 3,5 % de impuestos) y darle los 20.000 restantes en dinero B al vendedor.

Yo tengo una cuenta vivienda q me abri el pasado diciembre con 9000 euros (actualmente tengo 10.300),por lo q solo me ha desgravado este año en hacienda unos 1300 y pico de euros,aunq aun no me lo han ingresado,pero ya modifique el borrador para q me lo dieran. Entonces lo q he pensado es coger esos 10.000 euros de la cuenta vivienda + 10.000 euros q me deja mi padre (el lo tiene guardado en casa,asi q no hay problema con esa parte). Se q el dinero de la cuenta vivienda tengo q invertirla en mi piso,pero como solo he desgravado este año pues me sale mejor hacer lo otro aunque tenga q devolver esos 1300 a hacienda. Pero mi duda es la siguiente: al sacar esos 10.300 para entregarlo como parte de los 20.000 en B....me preguntara hacienda en un fututo el pq no lo utilize en mi vivienda y q hice con ese dinero??

A ver si me ayudais.seguro q si!!