Fiscalmente la permuta debe de contemplarse como dos operaciones, una compra y una venta.
Tú estás vendiendo a tu hermano un piso, el precio de venta es el valor de mercado del piso que recibes más el efectivo. Tienes una ganancia o una pérdida por diferencia entre precio de venta y precio de compra actualizado. En caso de ganancia puedes acogerte a la exención, si el neto de la venta (precio de venta menos hipoteca pendiente de pagar) de tu vieja vivienda habitual lo destinas a la adquisición de tu nueva vivienda habitual. Parte ya lo reinviertes, el valor de mercado de la vivienda que recibes (si ésta se convierte en tu vivienda habitual), sólo te queda destinar el efectivo que te quede después de amortizar la hipoteca de tu vivienda antigua). Además tienes que pagar el impuesto por el incremento de valor de los terrenos de naturaleza urbana (la "plusvalía municipal").
Por otro lado estás comprando una vivienda de segunda mano, y tendrás que pagar el impuesto de transmisiones patrimoniales correspondiente.
Tu hermano, igual, lo que pasa es que la vivienda que el vende es la que tú compras y la vivienda que él compra es la que tú vendes.
Saludos.