Construido este palacete en una de las calles más antiguas del municipio, zona de residencia de familias nobles de Caravaca, su historia se remonta al siglo XVI.
Fue Francisco Musso Muñoz, alférez mayor del reino, quien en 1570 compró solares y edificios en ruinas al Concejo de Caravaca y seguramente esta casa, en su valor solar, es parte de esas adquisiciones. Su hijo, Pedro Muñoz, casado con la sevillana doña Inés de Otálora, dejaría a su vez las propiedades familiares a su heredero, don Francisco Musso Muñoz de Otálora, que junto a su esposa, doña Catalina, serían los patrones en 1617 de la conocida Ermita de la Reja, que junto a esta casa fueron incluidos en un mayorazgo para ser heredado por su primogénito.
Siguiendo a través de los años la titularidad de este palacete, encontramos que en 1761 pertenecía a don José Miguel de Cañaveral Saez de Navarrete y Muñoz de Otálora, marqués de Araceli. En 1798 era ya propiedad del Conde de Clavijo.
Las alianzas matrimoniales y sucesivas herencias permitieron que este palacio siguiera siendo propiedad particular; así desde el año 1900 hasta el 1960 fue propiedad de la familia Martínez Carrasco, que finalmente la vendió al Ayuntamiento de Caravaca.
Desde su titularidad pública, y a lo largo de los años, esta casa ha sido utilizada para acoger distintas sedes, la de la Escuela Graduada, la del Instituto Municipal de Cultura, la de la Escuela de Artes Oficios y, en la actualidad, la de la Cofradía de Santísima y Vera Cruz, cofradía ya instituida canónicamente en el siglo XVII, a través tanto de las constituciones Quicumque de 1604 del Papa Clemente VIII como la Quae Salubriter de Paulo V en 1610.