La planta del edificio se inscribe en un rectángulo con unas dimensiones exteriores de 31 m en sentido este-oeste y 22,50 m en sentido norte-sur. A pesar de que la cota general es homogénea, el fuerte desnivel hacia el norte que presenta el terreno donde fue construido, hace que la altura de los muros sea muy irregular. Así en el lado septentrional se pueden contemplar alzados aproximados de unos seis metros, mientras que al sur los alzados son muy escasos. Precisamente este desnivel motivó la construcción de tres grandes contrafuertes que sujetan el muro norte.
Las ruinas de las estancias interiores parecen haber sido distribuidas en torno a un gran patio central de planta cuadrada.
Manzano Martínez plantea la hipótesis de que el lado sur careciera de muralla, y fuese a estar abierto al exterior por un pórtico con vistas al castillo de la Asomada y al Portazgo Inferior. Esta circunstancia reforzaría la identificación del Portazgo Superior con un palacio fortificado, algo sobre lo que ya escribió González Simancas a comienzos del siglo XX. En cualquier caso parece que los restos conservados corresponden únicamente a los niveles de cimentación, lo que puede indicar que el edificio no se llegó a terminar nunca.
Los elementos arquitectónicos que se conservan fueron construidos con un sólido tapial de argamasa de cal cuyos encofrados poseen una altura aproximada de unos 80 cms, mientras que en los restos de las bóvedas es visible aún el uso de ladrillo.