A Igreja da Memória, foi começada a construir por volta de Maio de 1760, tendo-se celebrado a cerimónia do lançamento da primeira pedra a 3 de Setembro de 1760. Fundada por D. José I, num gesto de gratidão por se ter salvo de uma tentativa de assassínio dois anos antes, em 1758, no local.

O monarca regressava de um encontro secreto com uma dama da família Távora quando a carruagem foi atacada e uma bala o atingiu num braço. Pombal, cujo poder já era absoluto, aproveitou a desculpa para se livrar dos seus inimigos Távoras, acusando-os de conspiração. Em 1759, foram torturados e executados. As suas mortes são comemoradas por um pilar no Beco do Chão Salgado, junto da Rua de Belém.

O projecto deste templo coube ao italiano Giovanni Carlo Sicinio Galli Bibiena arquitecto e cenógrafo bolonhês autor do Teatro do Forte ou Teatro do Salão dos Embaixadores no Palácio da Ribeira (1752-1754), Teatro real de Salvaterra de Magos (1753-1792), Teatro real da Ópera do Tejo (mar.1755-nov.1755) e do Teatro da Quinta de Cima ou Teatro da Ajuda. Igualmente foi responsável pela Real Barraca da Ajuda e da sua Capela Real.

A condução das obras até 20 de novembro de 1760, esteve a cargo do arquitecto italiano. Contudo, em 1762 as obras pararam por motivos económicos, sendo apenas retomadas en Novembro de 1779. Assumindo o cargo o arquitecto Mateus Vicente de Oliveira, sendo o responsável pelo piso superior da igreja, pelo zimbório, cúpula e lanternim. Em 1785, Mateus Vicente morre, ficando por concluir a torre sineira. Hoje é a sede da Ordinariato Castrense de Portugal/Diocese das Forças Armadas.