Hace año y medio que no estoy en la empresa y esta me reclama importes mal retenidos en nómina hace 3 años.

en principio sí que lo pueden reclamar. La Agencia Tributaria reclama al que tenía la obligación de retener -la empresa- y esta se lo puede exigir al trabajador.
 Si fue error suyo -esto es, tú habías aportado correctamente los datos sobre tu situación personal/familiar-  lo que no pueden reclamar en la sanción o los intereses de demora que les haya impuesto Hacienda.

Si no accedes amistosamente, no sé si pueden poner una demanda por la vía de lo Social, al no ser ya empleado (y además el plazo es de 1 año, aunque parece que, en este caso, es desde que han pagado lo que les ha pedido Hacienda) o tienen que ir por la vía Civil.
https://www.pymesyautonomos.com/fiscalidad-y-contabilidad/podemos-repercutir-al-trabajador-las-retenciones-mal-practicadas
https://www.pymesyautonomos.com/legalidad/la-prescripcion-de-la-reclamacion-al-trabajador-de-las-retenciones-mal-practicadas

Si la empresa te ha llamado, lo mejor es no hacer ni caso. 
Estos asuntos hay que iniciarlos con un mínimo de seriedad, o sea mediante escrito explicativo, con acuse de recibo, etc.