Duda a la hora de declarar vivienda en el IRPF

Conclusión mía: si tenéis buena relación, con la permuta os hacéis un favor mutuo s vosotros y a quienes se hayan sumado o se vayan a sumar a vuestra unidad familiar 

Si no tenéis buena relación, la imputación de rentas inmobiliarias , el día de mañana será probablemente el menor de vuestros problemas relacionados con esas viviendas
Si no queréis hscer la permuta, también podéis formalizar 2 contratos de compra- venta puros (más papeleo y coste).
Si solo es uno el gran interesado en no tributar por esa imputación de renta inmobiliaria, vende a tu hermano tu parte o alquílasela con opción de compra o viceversa.
Pd: sois hermanos, facilitaros las cosas, no busqueis el uno o el otro la mayo  plusvalía posible ( ajustar los precios al valor de adquisición o al valor de referencia obtenido
 del catastro si este es menor)

También podeis analizar hacer una donación de cada uno al otro.

REDUCCIONES Y BONIFICACIONES EN EL IMPUESTO DE SUCESIONES Y DONACIONES

Es importante saber que en la actualidad el ISD está transferido a las comunidades autónomas y cuenta con reducciones en varias de ellas, de modo que lo que se tiene que pagar a veces es realmente poco. Además, la ley prevé ciertas bonificaciones si se trata de familiares de segundo grado de consanguinidad (entre los que se encuentran los hermanos).

Es cuestión de que hagais números.
Nota: si ahora tenéis buena relación, aprovechad para dejar el tema arreglado, que la vida y las circunstancias de cada uno puede dar muchas vueltas....

Estoy de acuerdo con vuestros argumentos que, además, creo que coinciden con el criterio de Hacienda. 
No obstante, también creo que se puede defender lo que digo yo, no sería la primera vez que Hacienda tiene que recoger velas por aplicar un criterio abusivo. La cuestión es que no necesarianente cedes a título gratuito tu 50%, en muchos casos son situaciones sobrevenidas por herencia, por ejemplo.