La Casa de las Torres es un palacio al estilo de alcázar urbano torreado (de ahí su popular nombre) y actualmente alberga la Escuela de Artes y Oficios de Úbeda, donde se desarrollan estudios de Ebanistería Artística, Grabado y Técnicas de Estampación, Proyectos y Dirección de Obras de Decoración y Bachillerato de Artes. El palacio es un espacio muy utilizado por Antonio Muñoz Molina en su obra El Jinete Polaco, novelando la leyenda de “la emparedada”, mujer que apareció a principios del siglo XX tras unas obras de rehabilitación del palacio. Restos que son asignados a doña Ana de Orozco. Según cuenta la leyenda, movido por la venganza, su marido, Andrés Dávalos, la vistió con hábitos de monja, le colocó un rosario en las manos y la emparedó viva. Esto pudo ocurrir a mediados del siglo XVI.

“[…] vio de nuevo la cara de la mujer emparedada en la Casa de las Torres y sus ojos alucinados por la oscuridad y la muerte, vio a su abuelo Manuel vestido con el uniforme de la Guardia de Asalto y pensó que ya era tiempo de ir regresando hacia Mágina […]”

Antonio Muñoz Molina. El Jinete Polaco.