¿Es necesario cambiar la cartera de valores para beneficiarse del cambio de residencia fiscal?

¿Si me cambio la residencia fiscal a Portugal, para evitar que la hacienda española me haga tributar en España, debo cambiar los fondos y las acciones del banco español donde las tengo a otro banco portugués? serían las únicas rentas que tendría y no tengo bienes inmuebles.

el problema puede estar en que los bancos con los que trabajas NO quieran tener a no residentes y te quieran cerrar las cuentas -lo que no sé si es muy legal en el ámbito de la Unión Europea, pero primero actuarían y luego tendrías que reclamar-. Hacienda no te impone que tengas que cerrar las cuentas.
Si no dices nada y sigues con las cuentas, te van a retener como residente en España el 19% por los intereses, dividendos o venta de fondos de inversión, y luego tendrías que pedir vía IRNR que te devolvieran todo, si ese rendimiento no está gravado en España por el convenio entre España y Portugal,  o el exceso sobre el 15% que corresponde según convenio a un no residente, mientras que si te lo llevas a Portugal, te ahorras este inconveniente. 

El problema que, siendo los dividendos y ventas de mis fondos mis rentas,  es que la Administración española me siga considerando de residencia en España al estar  "la ubicación en España del núcleo principal o la base de las actividades o intereses económicos de la persona física".

Exacto, si vendes pará llevarte el dinero a Portugal, y tienes ganancias latentes, las aflorarias y tendrías que pagar.
Si dejas las inversiones en España, corres el riesgo de que te consideren residente fiscal por el motivo que explicas. Pero entonces, si demuestras que también eres residente fiscal en Portugal, hay que recurrir al convenio de doble imposición para desempatar; míralo, pero de memoria, creo que el primer criterio es donde tengas vivienda a tu disposición (alquilada o en propiedad).

https://www.newco.pro/es/mudarse-a-portugal/incentivos-fiscales-para-nuevos-residentes#:~:text=Por%20regla%20general%2C%20una%20persona,un%20per%C3%ADodo%20de%2012%20meses.

Por regla general, una persona física se considera residente fiscal en Portugal si permanece 183 días (consecutivos o interpolados) en territorio portugués durante un período de 12 meses.

Una persona también puede ser considerada residente fiscal si, en cualquier día de ese período de 12 meses, posee una vivienda en Portugal en condiciones que sugieran que tiene la intención de conservarla y ocuparla como residencia habitual.

Se trata de un requisito algo amplio, pero significa que, aunque no permanezca más de 183 días en territorio portugués, si posee una vivienda en Portugal en condiciones de habitabilidad puede ser considerado residente fiscal en Portugal.