A instituição ocupa o prédio que originalmente abrigou o Centro Cultural do Jabaquara, construído no fim da década de 1970 no terreno do antigo Sítio da Ressaca, que era parte de uma das sesmarias do padre José de Anchieta.

A propriedade dos jesuítas era utilizada desde o século XVI como um ponto de parada para os viajantes que iam da vila de São Paulo para a então vila de Santo Amaro, à qual pertencia a atual região do Jabaquara. Neste sítio foi construída, em 1719, uma casa de taipa de pilão que resistiu ao tempo e chegou intacta ao século XX. Tombado como patrimônio histórico da cidade em 1972, a Casa do Sítio da Ressaca hoje faz parte do complexo que abriga o Acervo da Memória e do Viver Afro-Brasileiro. Muitos moradores da região, no entanto, acreditam que essa não é toda história da Casa do Sítio da Ressaca. Por estar situada em um uma área que até o século XIX era praticamente de mata fechada e que estava no caminho para Santos, a antiga chácara dos jesuítas é alvo de inúmeras especulações. Alguns acreditam que, no século XVII, ali viveu um padre que acobertava negros fugidos; outros defendem que toda a região foi um enorme esconderijo habitado por milhares de escravos rebeldes; e há quem suspeite que a Casa do Sítio da Ressaca foi um dos abrigos utilizados por uma sociedade secreta de abolicionistas que na década de 1880 ajudava os cativos a fugir das fazendas do interior paulista e os levava em segredo até o Quilombo do Jabaquara – este sim, é bem conhecido, mas ficava na cidade de Santos.