La Casa de Iberoamérica está situada en un edificio del siglo XVIII, en la calle Concepción Arenal. Se trata del antiguo edificio que albergaba la Cárcel Real. El inmueble fue realizado por el arquitecto Torcuato Benjumeda y las obras comenzaron en el año 1794, aunque fue inaugurada (aún sin terminar) un año más tarde. Las obras fueron terminadas en el año 1836 bajo la dirección del arquitecto Juan Daura, pero quedó una parte por completar –la más cercana al mar– que no se terminaría hasta el año 1990, cuando se realizó una restauración para que albergara los juzgados de la ciudad.

El edificio está considerado como uno de los mejores ejemplos del estilo neoclásico en Andalucía. Es de planta rectangular y se organiza en torno a un patio central y otros dos rectangulares.

El edificio ha sufrido varias reformas a lo largo de su historia. La primera, en el año 1880, cuando se trasladó a los presos al cercano Baluarte de los Mártires para proceder a subsanar los problemas de conservación. En abril de 1913, los reos fueron enviados al castillo de Santa Catalina también por otra reforma, aunque el deterioro del edificio alcanzó momentos de especial gravedad a lo largo del siglo XX.

El edificios siguió siendo una prisión hasta el año 1966, cuando fue abandonado. Posteriormente se decidió rehabilitarlo, bajo la dirección de Montes Deza, para albergar los Juzgados, evitando así su ruina completa. El edificio fue sede de los Juzgados desde mayo de 1991 hasta 2006. Una vez devuelto la propiedad el inmueble al Ayuntamiento se realizó otra gran reforma para acondicionarlo como Casa de Iberoamérica y ésta fue inaugurada en enero del año 2011.

Actualmente, alberga las dependencias de la Sociedad Municipal Cádiz 2012, así como las del Festival Iberoamericano de Teatro de Cádiz (FIT).