História Františkánov v meste siaha do roku 1774, kedy uhorská kráľovská kancelária povolila bratom usadiť sa v Trstenej, aby tam vyučovali hornooravskú mládež.
Ich pôsobenie malo rekatolizačný zámer, keďže Trstená bola predtým prevažne protestantská. Prví bratia bývali spočiatku v provizórnej budove, kým si nepostavili kláštor na pozemku patriacom ku kostolu sv. Juraja.
Po rôznych ťažkostiach, spôsobených politikou cisára Jozefa II., bola stavba kláštora v roku 1778 zväčša hotová. Hlavná škola, z ktorej sa neskôr vyvinulo nižšie gymnázium, vznikla v roku 1803. Bola vlastne prvou strednou školou na Orave. Od tých čias učili bratia na škole, s krátkym prerušením po obnovení v roku 1869 až do roku 1934.
Kláštor bol niekoľkokrát prestavaný. V roku 1912 vyhorel, no v priebehu piatich mesiacov ho zreštaurovali. Novšie úpravy v 20. storočí pozmenili tvar okien. Súpis výtvarných pamiatok Oravy z roku 1944 uvádza, že v inventári kláštora sa nachádza obraz Márie Magdalény s pekným starým rámom z konca 16. storočia a obraz sv. Františky z 18. storočia. Na dolnej chodbe kláštora je umiestnená baroková spovednica a patronátne lavice z 18. storočia. Je to práca neznámeho autora. Drevené lavice v hladkom prevedení, majú bohato vykrojované bočnice. Drevo je mramorované.
Kláštor bol po roku 1950 sídlom referátu ONV. V roku 1971 bol prestavaný na hotel Oravica. Po roku 1989 sa opäť stal vlastníctvom františkánskej rehole a kláštora. V roku 1992 bol určený na formáciu postulantov.
