Encorsetado entre las estrechas callejuelas del centro de Polán, compartiendo muros con una vivienda privada y el patio de un colegio aún se mantienen en pie los restos del Castillo que dan idea de la importante construcción que fue.
Con una torre medio derruida de la que se puede ver su estructura interior y su altura, así como de otra parte también alta pero solo contemplada desde fuera, estos restos de e´poca musulmana, adaptados por los reinos cristianos, no están en alto como la mayoría de las atalayas defensivas de las villas castellanas, sino como parte de un palacio.