¿Comisiones anticipo Confirming con o sin IVA?

Hola, trabajo como contable en una pequeña empresa, varios clientes nos pagan por Confirming y la mayoría de las veces los anticipamos, cargándonos el banco una comisión por la operación más los intereses correspondientes? Lo que me llama la atención es que hay entidades que a esa comisión le añaden el IVA del 21% y otros no, como si fuera un cargo exento o no sujeto El concepto es el mismo en todos lo casos, una comisión en porcentaje fijo sobre el importe a anticipar ¿Qué sería lo correcto en realidad?