Velo Selo ili Podselje je nekada bilo centar otoka Visa. Neke predaje govore da je područje od Galije preko Podselja prema Humu bilo gusto naseljeno. Jedna priča kaže da se, kada se vol pekao na Galiji, u Podmirju to nije znalo iako je udaljenost veoma mala. Povijesno stradanje Velog Sela počelo je u drugoj polovici 15. stoljeća.
U međusobnom sukobu Venecije, koja je imala vlast nad otokom i napuljsko-aragonskog kralja Feranta 1483. godine stradala su naselja Velo Selo, Luka i Kut (u Viškoj luci). Stanovništvo Velog Sela posakrivalo se u šumu i špilje, najviše u špilju il Forte, a sklonili su i sliku Majke Božje. Aragonski vojnici spalili su Velo Selo, a prema nekim zapisima stradalo je i dosta ljudi. O utjecaju Majke Božje postoji legenda da je svojom moći poslala mušicu na Aragonce i tako djelomično uspjela spasiti selo. Postoji i narodna pjesma koja je zabilježila propast Velog Sela. U njoj tri dana prije neprijateljskog napada pijetao pjeva s vrha crkve:
Kukuriku, Velo Selo
Do tri dana neveselo,
Doć' će Turci Katalani
Ostat ćemo svi poklani.
Poslije stradavanja stanovnici uglavnom sele u Višku luku jer zaštite u unutrašnjosti otoka više nije bilo. Kako vremenom jača štovanje Gospe ilustrira priča o ribolovu. Naime, sedam godina u moru oko otoka Visa nije bilo srdele - hraniteljice naroda. Nakon sedmogodišnjeg razdoblja opet se počelo obilato loviti, što narod pripisuje njenim zaslugama. Ckrvi je zavjetno darovana srdela od srebra kao znak ribarske i viške zahvalnosti. U crkvi Gospe od Velog Sela postoji slika broda u oluji koju su darovala braća Teodoro i Rudolfo Puhalović (zvani Rakovi). Oni su doživjeli tešku oluju pored Senja sa svojim brodom "Sv. Frančesko" te su se, moleći Gospu od Velog Sela, uspjeli spasiti. Zanimljivo je i da je štovanje Vele Gospe od svih srednjodalmatinskih otoka bilo na Visu. Tako su nekad Bračani i Hvarani po zavjet dolazili na Vis. Prema legendi, kad se planirala graditi crkva, Gospinu sliku su stavili na planirano mjesto, ali su je dan poslije našli premještenu što je objašnjeno kao njena želja da se sagradi baš tu. Danas je Gospino svetište jako posjećeno za blagdan Vele Gospe koja se slavi 15. kolovoza (Uznesenje Blažene Djevice Marije) tzv. Voćnica (zapovjedni blagdan).
Priča vezana u dogradnju crkve 1920. godine kaže da su ljudi iz uvale Srebrna nosili kamenje za dogradnju crkve i gradnju zvonika. Kamenje su prenosili na magarcima. U temelje zvonika ljudi su stavljali zlatnike za sreću. U to vrijeme župnik je bio Bračanin don Petar Rudan.
Crkva Svete Marije i Margarite datira iz 14. stoljeća, a nadograđena je u 15. stoljeću. Crkkva je posvećena sv. Mariji te se još naziva "Gospa Velog sela". Uz nju se prostiralo najveće viško naselje, dok ga 1483. godine nisu srušili i opljačkali vojnici napuljsko-aragonskog kralja Feranta. Ova je crkva nacionalno svetište pa Višani do nje hodočaste za blagdana Vele Gospe. Tada svi koji idu na svetu Misu bosonogi pješače nekoliko kilometara za pokoru do crkve Gospe od Velog Sela. (Izvor: Wikipedija)