Sin reinversión en vivienda por hipoteca puente

Tras 17 años con un crédito puente por imposibilidad de vender sin pérdidas(2005-2021) logro vender y parte de la venta es para quitar hipoteca de una de las viviendas, la habitual, y el resto para la segunda que ahora será la habitual, pues bien a la hora de hacer la declaración de la renta me dicen que no tengo derecho a la reinversión por no ser la vivienda habitual y que tampoco me podré desgravar de esa vivienda en el futuro aunque la hipoteca fue en 2005,¿ Es esto así? El dinero pasó del vendedor al banco directamente, de dónde pago yo ahora a hacienda25000 eur?