Barokové prvky dostala sakrálna stavba v rokoch 1710 – 1747. Okolo kostola boli do hradieb vbudované kamenné spovednice na spôsob výklenkov.
Kostol je trojloďová stavba s rovným zakončením presbytéria a predstavanou vežou. Pôvodný gotický kostol bol zasvätený Panne Márii, ale v roku 1560 sa názov kostola zmenil na kostol Sv. Ducha. Súčasný patrón chrámu sv. Martin sa spomína začiatkom 18. storočia.
Oltáre a pôvodný organ pochádzajú z roku 1904. V sakristii kostola bol uložený barokový parlamentár z polovice 18. storočia. Zo starého barokového zariadenia kostola sa zachovali patronátne lavice, obraz Kalvárie, voľné plastiky, polorustikálna socha Panny Márie z 18. storočia. V komore kostola bol nájdený cenný ľudový betlehem s veľkými figúrkami zo začiatku 19. storočia. Časť z neho sa nachádza v zbierkach Oravskej galérie.
Vstup do ohradeného priestoru pútnického dvora tvorí dvojpodlažná budova s renesančným portálom zo 17. storočia a s dvoma soškami v nikách uložených vo výklenku poschodia, pochádzajúcich z oravskej dielne Belopotockých. Budova po prestavbe slúžila ako mestský archív. Chrám počas piatich storočí svojej existencie bol niekoľkokrát reštaurovaný. Druhá svetová vojna kostol značne poškodila. Na Veľkonočný pondelok zhorela strecha, spadli kostolné zvony a klenba hlavnej lode chrámu. Interiér kostola zostal nepoškodený. Rekonštrukcia kostola bola prevedená v rokoch 1946 až 1948 z prispenia oravského komposesorátu a milodarov veriacich. Pri oprave kostola dal správca farnosti odstrániť z bočných stien biblické motívy, namaľované na olejovom podklade v roku 1747.
V roku 1998 sa začali prípravy na prestavbu a prístavbu kostola. V roku 1999 sa prestavali všetky tri vchody, pristavili sa chóry, kaplnka Panny Márie Lurdskej, suterén, sklady kostola a sociálne zariadenia, pribudla plynová kotolňa, podlahové kúrenie, podľa návrhu akademického maliara Jána Havrilu má kostol nové vitráže. V roku 2004 bola rekonštrukcia kostola ukončená úpravou osvetlenia, ozvučenia a maľby.
