La fortaleza se encuentra situada en pleno casco urbano de Mazarrón, sobre un pequeño cerro que se eleva unos 30 metros de altura sobre el terreno circundante. Por su enclave, domina perfectamente el casco antiguo de la actual villa. La función residencial que también tuvo el castillo condicionó la elección del lugar donde se construyó, precisamente controlando a la población y las explotaciones mineras circundantes.
El contorno de sus imponentes ruinas, recientemente rehabilitadas, es fácilmente accesible desde algunas de las calles que rodean a la fortaleza. Tradicionalmente se ha llegado hasta sus mismos pies desde el extremo meridional de la plaza del Ayuntamiento, lugar en el que está ubicada la iglesia de San Antonio, donde se toma dirección noroeste por las calles Ana Moreno y Santa Rita, lo que nos situará frente a su fachada septentrional. Allí se pueden contemplar los muros de una interesante fortificación en la que se entremezclan defensa y apariencia.
Construida a finales del siglo XV, el edificio está ligado a la familia que patrimonializó el Adelantamiento Mayor del Reino de Murcia -los Fajardo-, que posteriormente fueron nombrados marqueses de Los Vélez. Este linaje y el de los Pacheco fueron, por concesión regia y desde 1463, propietarios de las minas de alumbre existentes en el lugar, un mordiente textil muy apreciado en la época. Por desgracia, la fortificación fue en buena parte destruida entre los años finales del siglo XIX y los comienzos del XX, cuando se abrió la boca de una mina en el mismo interior.
No obstante sus ruinas han sido rehabilitadas recientemente, lo que ha mejorado de manera considerable su aspecto. Su excavación y limpieza nos han permitido conocer interesantes aspectos. El castillo de Los Vélez de Mazarrón se encuentra declarado Bien de Interés Cultural por la Disposición Adicional Segunda de la Ley 16/1985, de 25 de junio del Patrimonio Histórico Español.