La fortaleza presenta, claramente, varias fases constructivas que desdibujan y confunden la estructura arquitectónica original, especialmente en su interior. No obstante, en la actualidad se aprecia que, construida adaptándose al terreno, su planta es irregular, alargada, con una longitud máxima de 42’50 m. en sentido este-oeste, y una anchura media de 15 m. en dirección norte-sur.
La construcción se encuentra delimitada por gruesos muros, de un metro de longitud aproximadamente, construidos en un sistema mixto donde predomina la obra de mampostería mediana, bien aparejada y trabada con mortero, que se apoya directamente sobre la roca madre. En la fachada septentrional, los paños de argamasa aparecen verticalmente separados a alturas irregulares por estrechas verdugadas compuestas por una doble fila de ladrillo colocadas en la horizontal. Es en este lugar donde se conservan tres aspilleras abuzonadas, mientras que en el resto de los muros se abren grandes ventanales que denotan su carácter residencial, alternando en algunos casos con huecos preparados para ballestería o arcabucería. En el conjunto se aprecia que estuvo ya adaptada al uso de la artillería, pues así se disponen algunos de sus vanos, que recuerdan, en ocasiones, a algunas de las estructuras que aparecen --salvando las lógicas diferencias de conjunto-- en otras fortificaciones pertenecientes a los Fajardo construidas a finales del XV y comienzos del XVI, como el castillo de Mula o el impresionante castillo-palacio de Vélez Blanco.
El acceso pudo haberse situado en la fachada meridional, por una puerta elevada que, aunque muy destruida, aún se conserva. Aquí el muro está flanqueado por una torre semicircular, construida con mampostería trabada con argamasa, cuyo diámetro mide aproximadamente unos 6 metros. Precisamente este elemento ya denota una fase constructiva previa, quizá más enfocada a un carácter más puramente militar, que más tarde dio paso a una reforma del edificio con la intención de acrecentar el sentido residencial.
En la ladera meridional del cerro se extiende un amplio espacio murado en su lado de poniente que ha venido siendo identificado con parte de la fortificación o con un gran patio de armas. No obstante, también podría corresponder, al menos en parte, con un aterrazamiento ya de época moderna.
