Ocupa lo que fue el primitivo asentamiento olvereño en la cumbre de uno de los variados mogotes rocosos que hoy salpican el casco histórico. Antaño fue recinto amurallado y sus restos aún se conservan en torreones y lienzo de muralla. El castillo árabe y la Iglesia neoclásica presiden la masa blanca de pequeñas casas que se ordenan en una serie de calles curvas y paralelas, estrechas y de trazado irregular, una trama urbana hermosamente caótica que no ha hecho olvidar su raíz islámico.
