O Museu Nacional de Arte Antiga está instalado, desde a sua fundação, no palácio mandado construir, em finais do século XVII, pelo 1º conde de Alvor, D. Francisco de Távora, após o seu regresso da Índia, onde fora vice-rei. Em 1744, o edifício  passaria à posse de Matias Aires Ramos da Silva de Eça, Provedor da Moeda, que o arrendou ao embaixador da Alemanha e depois, em 1762, ao Contratador dos Diamantes e cônsul da Holanda, Daniel Gildemeester, que nele residiu durante décadas, realizando avultadas obras de beneficiação dos interiores. Com a morte de Matias de Aires, passou à posse de Paulo de Carvalho, que em 1768 o arrematou em praça por intermédio de Gildemeester, e, por morte daquele, à do marquês de Pombal, seu irmão, mantendo-se nesta família até à sua compra pelo Estado, em 1883, para instalação do Museu Nacional de Belas Artes. Foi também residência da duquesa de Bragança, viúva de D. Pedro IV, que aqui morreu em 1873.

Típico exemplo da arquitetura civil portuguesa da época, o palácio desenvolve-se numa longa fachada corrida, paralela à rua, com grande simplicidade de desenho, apenas pontuado pelos portais de aparato, de animado desenho barroco. Duas salas de tetos pintados com quadraturas, atribuídas ao artista florentino Vincenzo Bacherelli, foram certamente realizadas no tempo do primeiro ou do segundo conde de Alvor. Outros tetos receberam ainda, já em meados do século XVIII, ornamentações em estuque de caprichoso recorte rocaille, atribuíveis a Giovanni Grossi, uns e outros raros vestígios dos programas decorativos originais, que evidenciam a internacionalização dos padrões de gosto das grandes famílias aristocráticas, numa sociedade de corte em profunda renovação.

Adaptando-se ao crescimento das suas coleções e a novas exigências museológicas, o MNAA tem vindo a ser sucessivamente ampliado, com a integração, nos seus circuitos expositivos, da capela do desaparecido convento de Santo Alberto, edificado entre 1583 e 1598, integralmente revestida a talha dourada e azulejo, e, na primeira metade do século XX, com a construção do anexo poente (Arquiteto Guilherme Rebelo de Andrade 1930/40), e de um acrescento à ala oriental (entre 1942 e 1947), destinado a Auditório, Biblioteca e Gabinete de Estampas.

Obras de modernização mais recente, em 1983 e em 1992-1994, pelo arquiteto João de Almeida, permitiram alargar os espaços afetos à exposição permanente bem como às exposições temporárias, a ampliação das áreas de serviços técnicos e administrativos e criar, em simultâneo, melhores condições de visita e usufruto do principal museu português.