Les premières carmélites arrivent à Abbeville en 1636,en provenance d'Amiens. En effet, le Carmel d'Amiens a été fondé le 14 mai 1606 sous le vocable de Thérèse d'Avila, marquant un renouveau religieux après une longue période marquée par les guerres de religion.
La communauté subit un réel essor et bientôt, le nombre limite de postulantes est atteint. Elle doit donc essaimer:

• En 1625, 6 religieuses partent sur la communauté de Saint-Denis,
• En 1636, 10 religieuses arrivent à Abbeville,
• En 1641, 6 religieuses partent sur Compiègne.

C'est donc ainsi qu'en 1636 est fondé à Abbeville l'Ordre du Carmel de Jésus-Maria, rue Saint-Gilles.

Durant la période révolutionnaire, les carmélites sont forcées de quitter la rue Saint-Gilles, mais tentent de continuer leur vie religieuse malgré les interdictions. Les bâtiments de leur couvent sont dénaturés. En partie détruits, ils accueillent notamment une maison d'arrêt, un tribunal ou encore une gendarmerie (emplacement de l'actuel tribunal). Les quelques restes ont disparu dans les bombardements de 1940.

     Devant l’impossibilité de regagner l’ancien monastère, les religieuses doivent louer une maison, puis une partie de l’ancien couvent des carmes sur la place Saint-Pierre (actuelle place Clemenceau, d'où le nom de rue des carmes ). Ce n’est qu’en 1818 que l’opportunité de trouver un lieu stable permettant une vie conforme à la règle apparaît : l’ancien couvent des capucins, du XVIIe siècle, quitté par ses occupants et cédé à un particulier comme bien national sous la Révolution, est à vendre.
C’est dans ces bâtiments dont elles font l'acquisition que les carmélites s'installent à partir de 1821. De lourds travaux sont à effectuer : il n'y a plus de chapelle, les bâtiments ne sont pas en bon état et l'indispensable clôture est quasi inexistante. C'est ainsi qu'en 1823, une nouvelle chapelle de style second empire voit le jour et en 1842, un mur de clôture est enfin érigé. 

Pendant la seconde guerre mondiale, elles fuient Abbeville en mai 1940. Elles reviennent ensuite afin d'apporter leur aide en évacuant malades et blessés. 

Les religieuses y demeureront jusqu’à leur départ d’Abbeville en 1998. La Ville se porte alors acquéreur de la propriété offrant ainsi aux Abbevillois la possibilité de découvrir cet extraordinaire ensemble patrimonial, ainsi que l'installation de la maison du patrimoine. Le magnifique cloître sert désormais aux expositions, la salle de réfectoire aux conférences.

Après plusieurs années d'attente, le Carmel d'Abbeville (XVII et XIX siècles) est enfin inscrit aux Monuments Historiques à l'automne 2021. Le site est concerné dans son intégralité : bâtiments conventuels, chapelle, jardins, dépendances, murs de clôture. Seule la Maison des Tourières (logement de gardien actuel), datant de 1934, n'est protégée que pour sa toiture et ses façades.