Ruiny klasztoru oo. karmelitów bosych, stanowiące jedną z największych atrakcji tak Zagórza jak i całego regionu, położone są na niewielkim wzniesieniu nad Zagórzem, zwanym Marymont (lub Mariemont), mierzącym 345 m n.p.m. i otoczonym z trzech stron wodami Osławy.
Klasztor i kościół wzniesione zostały z fundacji Jana Stadnickiego, wojewody wołyńskiego i właściciela dóbr leskich. Rozpoczęta w 1700 r. budowa przypadła na bardzo niespokojne czasy wojny północnej, toteż ukończono ją dopiero w 1730 r., wiele lat po śmierci fundatora (1713), staraniem jego córki Anny Stadnickiej.
W skład zespołu klasztornego wchodziły nie tylko kościół pw. Wniebowzięcia NMP oraz klasztor, ale także zabudowania gospodarcze oraz szpital – przytułek dla weteranów wojennych pochodzenia szlacheckiego. Całość zbudowana była z żółtego piaskowca z pobliskiego kamieniołomu, a kościół i klasztor otaczały wysokie na pięć metrów mury obronne, z reprezentacyjną bramą wjazdową.
Niestety, Zagórski Karmel stał się ostatnim bastionem oporu konfederatów barskich i w listopadzie 1772 r. został znacznie uszkodzony w czasie oblężenia. Stopniowo odnowiony znów stał się domem dla zakonników, jednakże w listopadzie 1822 r. w klasztorze wybuchł pożar, który tym razem zakończył dzieje konwentu. Do dziś zespół pozostaje ruiną, choć nie bez historycznych i współczesnych planów odbudowy. Od 2000 r. Miasto i Gmina Zagórz systematycznie zabezpiecza ową ruinę i udostępnia turystom do zwiedzania, jest to bowiem jedna z nielicznych, zachowanych pozostałości klasztorów warownych w Polsce. Staraniem gminy powstała m.in. wieża widokowa i ogród klauzurowy.
Warto jeszcze dodać, że część wyposażenia udało się uratować z pożaru w 1822 r., m.in. wielkoformatowe obrazy, które obecnie wiszą w Sanktuarium Matki Boskiej Zagórskiej.