Em 1755, o Convento sofre grandes danos, e só a Igreja é restaurada quase de imediato, motivo pelo qual passa a sede da paróquia de Nª Sª da Assunção do Castelo, cuja igreja havia caído com o sismo. Dez anos depois, e porque as condições nunca mais foram as mesmas desde aquele catalismo, os Frades Pregadores abandonam o Convento de São Paulo.Começa aqui o rol das muitas tribulações e mãos pelas quais o Convento passou. Em 1775, os Dominicanos vendem a quinta a um industrial francês, François Palyart, e a casa conventual, em 1776 aparece já na posse das Ordens Militares, que por sua vez, e ainda no mesmo ano, a tornam a vender, desta feita ao mesmo francês que já tinha comprado a quinta. A igreja e uma das alas do convento ficaram para a paróquia. Com o decreto de extinção das Ordens Religiosas de 1834, os bens dessas instituições passam a fazer parte do património estatal, mas isso em nada afecta a Igreja de São Paulo, que era paroquial e não de ordem religiosa. Mas no ano seguinte, perde esse carácter, pois a paróquia de Nª Sª da Assunção do Castelo foi definitivamente incorporada na de Santiago de Almada, ficando a igreja entregue aos cuidados de uma das suas irmandades, a do Rosário. Segue-se uma fase extremamente confusa, com vendas e contravendas, falências e casos mal esclarecidos.

Chegamos, entretanto, a 1855 com uma situação no mínimo caricata: a quinta e a casa eram de um proprietário, mas o corredor da Sacristia era de outro. E assim se foi caminhando, com tudo a ameaçar derrocada total. A irmandade da Assunção, para não deixar que a igreja se danificasse, fez restauros em 1897. Em 1913 está danificada grandemente, tendo sido as imagens atiradas pela ravina ou queimadas. Alguma coisa escapou, mas nada ficou incólume.Em 1934, o Patriarcado de Lisboa adquire a Quinta e o Convento, por intermédio do Cónego José Falcã, para instalação do Seminário Menor, sendo este inaugurado no ano seguinte, a 20 de Outubro de 1935, pelo então Patriarca D. Manuel Gonçalves Cerejeira, com 41 seminaristas. O seu primeiro Reitor foi Monsenhor Francisco Félix, e o primeiro Vice-Reitor, o Padre António de Campos, mais tarde ordenado Bispo. Por o espaço ser relativamente exíguo para o que se necessitava, logo em 1936 começam obras de ampliação, que foram terminadas e inauguradas em 1938.Cumpridas que foram, em 1960, as Bodas de Prata do Seminário, este preparava-se para atravessar o Concílio Vaticano II. No fim deste, em 1965, surgiu uma novidade: o Patriarcado de Lisboa iria criar três zonas pastorais - Santarém, Oeste e Setúbal - com vista à sua elevação a Dioceses. O Seminário de Almada ficou assim plenamente integrado na Zona pastoral de Setúbal. Os acontecimentos, no entanto, não tomaram um rumo linear: nas conversações e nas reuniões havidas no seio da Conferência Episcopal Portuguesa sobre a criação e os limites das novas dioceses, o Cardeal Cerejeira opôs-se a que o Santuário do Cristo-Rei e o Seminário de Almada fossem integrados no território da nova Diocese de Setúbal. A votação então havida foi inconclusiva, com a diferença de um voto a separar os bispos secundantes desta opinião e os seus opositores, para quem tudo o que estava abaixo da linha do Tejo no território do Patriarcado devia fazer parte da nova Diocese de Setúbal. E assim, a 16 de Outubro de 1975, pela Bula Studentes Nos, do Papa Paulo VI, era criada a Diocese de Setúbal, sem o Seminário de Almada e o Santuário de Cristo-Rei. No entanto, mercê das insistências do Cónego João Alves, antigo Vice-Reitor do Seminário, que viria a ser Bispo de Coimbra e Presidente da Conferência Episcopal, a Bula trazia a clausula de que as duas instituições só ficariam em administração do Patriarcado «enquanto não se pode providenciar doutro modo».

Enquanto isso, na nova diocese de Setúbal, nascia o Seminário Diocesano logo a 2 de Fevereiro de 1976, pela mão do seu primeiro bispo, D. Manuel Martins. Este seminário, no entanto, não teve outra existência senão a formal durante cerca de quinze anos, com os seminaristas de Setúbal a fazerem a formação fora do território da diocese, na sua maior parte nos seminários de Almada e Olivais, do Patriarcado. Ao mesmo tempo que, em 1986, o Seminário de São Paulo comemorava as suas Bodas de Ouro, ia nascendo e crescendo o desejo em D. Manuel Martins de poder fazer a formação dos seus seminaristas numa instituição que tivesse a ver com a realidade da sua diocese. E foi assim que, em 1991, nasceu com três seminaristas que o iniciaram, na cidade episcopal, o Seminário de Santa Maria Mãe da Igreja, dando finalmente corpo ao Seminário Diocesano de Setúbal. Deixou-se então de frequentar o Seminário de São Paulo, completando-se somente a restante formação no Seminário dos Olivais. Mesmo este estado de coisas viria a terminar no ano de 1997, com D. Manuel Martins a chamar todos os seminaristas a Setúbal, devido ao facto de entender estarem reunidas todas as condições para a formação ser feita integralmente na Diocese.Neste intervalo de tempo, nunca a situação do Seminário de Almada e do Cristo-Rei surgiu como «natural» aos olhos dos diocesanos de Setúbal, que olhavam com alguma estranheza a sua continuada situação de enclave dentro da nova Diocese, sem resolução definitiva à vista. Pela conjugação de diversos factores, no ano de 1998 foi possível às duas dioceses começarem a encarar a hipótese da transferência, o que, depois de algumas conversações, se veio a realizar a 16 de Julho de 1999, XXIV Aniversário da criação da Diocese de Setúbal, já então presidida pelo seu segundo bispo, D. Gilberto D. G. Canavarro dos Reis. Os seminaristas que estavam em Setúbal vieram então para o Seminário de Almada, mantendo-se os responsáveis: como o Reitor, Mons. Alfredo Brito, e como primeiro Vice-Reitor, o Padre Carlos Rosmaninho. Em 15 de Agosto de 2002, para dar continuidade e renovar tão importante obra diocesana, o Senhor Bispo de Setúbal, como é tradição, assumiu pessoalmente o papel de Reitor, nomeou Vice-Reitor o Padre José Rodrigo da Silva Mendes F.C. e Prefeito e Ecónomo o Padre João Rosa José, sendo este último substituído, em 2005, pelo Padre Fernando Maio de Paiva.

A instituição Seminário de S. Paulo foi assim plenamente assumida, com a sua história e tradição já longas, pela Diocese de Setúbal, que deseja torná-la coração e viveiro de muitas vocações, para a Diocese e para tudo aquilo que o Senhor pede à Sua Igreja. Procura não desdizer o passado das duas instituições que lhe deram origem: o Seminário Patriarcal de S. Paulo e o Seminário de Santa Maria, Mãe da Igreja. Estes foram como que os «progenitores» desta nova situação do Seminário Maior de S. Paulo: um «pai» ardente no zelo do Apóstolo de quem tomou o nome, e uma «mãe» pobre e simples que toma d'Aquela que lhe deu a existência a fé confiante e a vontade de servir até ao fim, «até à morte e morte de cruz» e «guardando sempre tudo no coração».