IRPF en locales comerciales

Hola,

tengo un pequeño local alquilado, y no se quien tiene la obligación de abonar el 19% de IRPF a Hacienda. En Hacienda me informan que legalmente el obligado a realizar la retención y a practicar los ingresos es el arrendatario.
Mi problema es que el arrendatario no lo esta haciendo, y en el contrato estipulamos que lo realizaría el arrendatario, y los ingreso de rentas son por banco y deduciendo el importe correspondiente a la retención.
Quiero saber si podría tener problemas con hacienda o la responsabilidad recaería en el arrendatario.

Gracias.

El que paga es el que retiene, es decir el inquilino, este cobra el alquiler (1000) el IVA (180) y retiene (= descuenta 190), paga al arrendador 990 e ingresa en Hacienda 190.
El que no tiene problemas con Hacienda es porque no existe, pero vamos presentando las facturas de alquiler donde se vea el descuento de la retencion, mas que de sobra.