Los conceptos, "domicilio fiscal", "residencia habitual", "vivienda habitual" son muy liosos a efectos tributarios y con la cesión del IRPF a las comunidades autónomas cada vez serán fuente de más problemas.
En principio, no importa dónde trabajes ("el domicilio laboral", que en tu caso en Madrid) ya que lo que debe de coincidir necesariamente es el domicilio fiscal con la residencia habitual (no el laboral), puesto que según la normativa del IRPF se considerará como domicilio fiscal aquel en el que el sujeto pasivo tenga la residencia habitual y la residencia habitual a su vez se la conceptualiza como aquella en la que el sujeto pasivo pasa más días del año.
Contando con eso domicilio fiscal=residencia habitual=lugar en el que se pasan más días del año.
De esa manera si tu vives (al margen de dónde trabajas) en Toledo y vives allí más de 183 días al año (o todo el año) tu domicilio fiscal será a todos los efectos Toledo y la declaración de la renta la tendrás que presentar sometido a las especificidades tributarias de Castilla La Mancha y NO de la Comunidad de Madrid.
Cosa distinta es el concepto "vivienda habitual" ese concepto tiene relevancia exclusivamente para la deducción por compra de vivienda, puesto que la ley intentando evitar fraudes en el objetivo de la deducción establece que ésta (la deducción por compra) sólo se podra aplicar cuando la vivienda que se compra pase a constituir la "vivienda habitual" y el concepto "vivienda habitual" queda definido como la vivienda en la que el contribuyente resida durante un plazo continuado de al menos 3 años consecutivos (que en tu caso se supone que va a ser Toledo), permitiéndose incumplir el plazo de 3 años sólo en supuestos que exijan un cambio de domicilio como un cambio de trabajo o una ruptura de matrimonio o pareja estable.
Por último (que no sé si es en concreto lo que preguntabas) a efectos de una inspección, sería muy improbable que Hacienda creyera que realmente no estás viviendo en Toledo, sino en Madrid porque ha detectado que trabajas allí, ya que somos muchos los ciudadanos que no vivimos exactamente en el mismo municipio en el que residimos (gente que vive en Getafe y trabaja en Madrid capital, gente que vive en Gallur y trabaja en Zaragoza...).
Y aún en el caso de que te inspeccionaran porque sospechasen que el que trabajes a 70 km de la residencia que declaras a Hacienda puede esconder el que la de Toledo no es realmente la vivienda habitual sino una segunda vivienda o algo así, aun cuando todo dependería de las pruebas que pudieras dar de que vives en Toledo tales como consumos de agua, electricidad, etc. empadronamiento, empadronamiento del coche, testigos, etc. la argumentación en tu defensa sería muy fácil puesto hay casos de resoluciones de tribunales económico-administrativos que han considerado admisible y lícito, por ejemplo, el que una persona viva y declare como domicilio fiscal y como vivienda habitual Pamplona (y se deduzca por vivienda por ello) y trabaje diariamente en Bilbao (que está a casi dos horas de trayecto en coche).