La emigración a tierras unionenses y el aumento de la población en la ciudad minera hizo que una parte importante de las familias se vieran obligadas a vivir en condiciones extremas, llegando incluso a instalarse en zonas cercanas a la bocamina, dentro de la parcela del dueño de las tierras, en lo que se conocía como trabajadero, ya que toda la familia participaba en las labores mineras. Así, debido a un escaso jornal, los mineros habitaban casas agrupadas en barrios, generalmente a las afueras de la ciudad o en las cercanías de las explotaciones y fundiciones mineras.

  Se han documentado familias hacinadas en pequeñas viviendas, incluso en casas-cueva, repartidas por los caseríos de La Torrecica, Perín, Palmeral y Camposanto Viejo, bajo pésimas condiciones higiénicas (es un hecho significativo que el agua potable llegara las viviendas de La Unión en la década de los 60 del siglo XX).

  La estructura de las viviendas de los mineros, a veces simples barracas o chozas, quedaba dividida en un par de habitaciones y un comedor-cocina en el que apenas se ubicaban muebles. Sillas de hule, una mesa de madera, camastros de escasas dimensiones y algún armario antiguo donde guardar ropa era el único mobiliario que existía en estas modestas casas. En el interior de la mayoría de las viviendas no existió la luz eléctrica hasta la segunda mitad del siglo XX, por lo que era común la iluminación con velas o con los mismos candiles y carburos que se utilizaban en el interior de las minas.

  Sin embargo, algunos mineros con trabajos de mayor especialización y complejidad disponían de un salario algo más elevado, que les permitía adquirir una vivienda construida en ladrillo visto, con fachadas típicas que aún continúan salpicando las calles de La Unión. Este sistema constructivo, el ladrillo visto, también se utilizó en diferentes casas de empresarios mineros como la Casa Wandosell, Casa de Fulgencio Martínez Conesa, el Edificio de 'La Tercena' o el antiguo Ayuntamiento, conocido como el Edificio del Progreso, de Carlos Mancha.

  Tras la vorágine minera de finales del XIX llegarían las sucesivas crisis de los minerales durante la segunda y la tercera década del XX. El empobrecimiento general de la población hizo que muchas de las viviendas descritas se vendieran a precios irrisorios, ya que sus habitantes emigraban hacia otras tierras en busca de trabajo y sustento. Así, por 100 ó 150 pesetas se podía adquirir una casa en 1930 en La Unión. No obstante, ante la imposibilidad de deshacerse de la casa completa, sus habitantes desmantelaban puertas, rejas, ventanas o vigas, vendiéndolas a constructores de otras ciudades cercanas como Cartagena. La Unión perdería 20.000 habitantes en una década, llegando el porcentaje de edificios derruidos a dos terceras partes del total. A mediados del siglo XX el número de edificios existentes en La Unión es la tercera parte de los catalogados a principios de la centuria.