El Castillo de San José localizado en el Cerro Cordillera, fue creado en 1692. Era una valiosa construcción defensiva de la ciudad puerto, con el fin de interceder por los ataques corsarios europeos. Declarado Monumento Histórico el 19 de marzo de 1963.
Arquitectónicamente cuenta con una planta de modelo colonial, creada en adobe y tejas españoles, además se puede distinguir el estilo neoclásico, ya que cuenta con algunas partes adaptadas al modo de vida de Valparaíso en el siglo XIX, ejemplos de esto son las habitaciones abiertas con vista a la bahía y a los miradores.
La casa con el tiempo se ha tenido que restaurar por los constantes movimientos telúricos. Actualmente funciona bajo la Municipalidad de Valparaíso y alberga al Museo del Mar Lord Cochrane, exhibiendo piezas relativas a la historia naval de Chile.