Nel fronte vi è un solo ingresso di 3.30 m. di larghezza, di architettura Palladiana. Fu l'eremita Pietro Angeleri, poi papa con il nome di Celestino V il fondatore dell'edificio religioso; l'anacoreta nativo di Isernia infatti, giunto ai piedi del Monte Morrone nel 1241 fece portare a termine l'ampliamento dell'originaria cappella intitolata a Santa Maria del Morrone, promuovendo in seguito la costruzione di una chiesa dedicata allo Spirito Santo. La chiesa fu dotata di un convento dove nel 1293 si ebbe la proclamazione ufficiale dell'edificio come sede dell'Abate Supremo dell' Ordine deiCelestini. Una prima ricostruzione del monastero fu dovuta al re Carlo D'Angiò nel 1299, in seguito ci furono un importante abbellimento nel Cinquecento e una ricostruzione dovuta all'evento sismico del 1706. Ridestinato a penitenziario dopo la soppressione degli ordini religiosi del 1807, l'edificio fu sottoposto ad un imponente restauro a partire dal 1997. Il portale d'ingresso, settecentesco, immette nel cosiddetto Cortile dei Platani che fonteggia la chiesa, a facciata su due ordini di semi-colonne e un campanile che ricorda quello dell'Annunziata a Sulmona.
L'interno è a croce greca con cupola e il portale è internamente sormontato da un bell'organo barocco a intagli, opera di Giovan Battista Del Frate (1681). L'abside custodisce un notevole coro in legno anch'esso di epoca barocca, di autore sconosciuto mentre, a sinistra del presbiterio vi è la cappella dedicata ad una nobile e potente famiglia abruzzese, la Cappella Caldora, sotto una delle cui arcate vi è il Sarcofago di Restaino Caldora-Cantelmo, opera di Gualtiero d'Alemagna (1412). Sulla parete di fondo sono da segnalare gli affreschi quattrocenteschi di Giovanni da Sulmona (Battesimo di Gesù, Ingresso a Gerusalemme, Gesù caricato della Croce e Crocifissione). Sotto la chiesa vi è una piccola chiesa a pianta irregolare cui si accede da una gradinata che si apre in un andito del pavimento. Il porticato esterno è a colonne cilindriche. Dal cortile sinistro, chiamato Cortile dei Nobili, a forma rettangolare, si passa nel Refettorio, secondo il tipico schema monastico seicentesco.
