Zadvarje se smjestilo na vrlo važnom putu koji iz podbiokovskog primorja vodi prema unutrašnjosti. Srednjovjekovno ime Duare indoeuropskog je odnosno slavenskog podrijetla i ima značenje 'vrata', 'prolaz' (dveri). Arheološki nalazi oko Zadvarja svjedoče o vrlo živoj prometnici trasiranoj još u prapovijesti, antici i ranom srednjem vijeku. Okolica Zadvarja je od pamtivijeka mjesto susreta obale i otoka s unutrašnjosti Dalmacije (ali i udaljenijim krajevima Hercegovine i Bosne). Ostaci tih susreta danas su prisutni svaki utorak te za svetkovine sv. Ante (13. lipnja) i sv. Bartula (24. kolovoza) na pazaru ili derneku (dan trgovanja) na Zadvarju.
Samo mjesto Zadvarje prvi put se u izvorima spominje 1408. godine. Ono je tada u posjedu bosanskog kralja i njemu odanih velikaša. Zadvarje je već tada jedno od središta dosta velikog područja na lijevoj obali Cetine, župe Radobilje. Od 40-ih godina 15. stoljeća njome gospodari bosanski herceg Stipan Vukčić-Kosača, nakon čije će smrti ovi predjeli doći na kratko i u mletački posjed. Tvrđava je u današnjem obliku završena prije 1482. godine kada se u Poljičkom statutu spominje kao 'Grad', a služila je obrani od sve jačih turskih provala. Vjerujemo da je dugo vremena prostor Radobilje i Zadvarja, unatoč turskim defterima (poreznim popisima stanovništva), bio 'ničija zemlja'. Nakon mira između sultana i dužda Turci su vjerojatno oko 1503. godine zauzeli Zadvarje. Oko 1624. godine tursko Zadvarje je utvrda bez podgrađa kojoj pripada mali broj slabo naseljenih sela u okolici. Nešto prije, krajem 16. stoljeća Turci će tvrđavu popraviti i dodatno utvrditi. Godine 1646., upravo na blagdan sv. Bartula (jednog od današnjih zaštitnika mjesta), Zadvarje će prvi put biti oslobođeno turske vlasti ali će se Turci nakon sklopljenog mira ponovo vratiti u tvrđavu. Slijedi nekoliko desetljeća stalnih sukoba koje u drugoj polovici 17. stoljeća Venecija vodi s turskom carevinom (Kandijski i Morejski rat). Tvrđava je u tom vremenu prilično stradala, a brojne ljudske drame i sudbine, zapisane u kronikama makarskih fratara, ostale su u legendi sačuvane do danas. Jedna od njih vezana je za nesretnu sudbinu djevojke iz obližnjih Poljica, Kate Bobetić. Da bi se dočepao njenog nasljedstva, stricu ju je nakon smrti oca i majke odlučio udati za zadvarskog agu iako je ona imala mladića u Poljicima. Nesretna Kata je odvedena na Zadvarje gdje je i umrla, a bjesni Poljičani su za kaznu spalili sve vlasništvo okrutnog strica i protjerali ga iz Poljica. Druge legende su bliže povijesnoj istini. U ožujku 1669. u borbi s Makaranima ispod obližnje kule Poletnice poginuo je zadvarski dizdar Hasan aga-Arapović, vjerojatno muž Fortisove 'Asanaginice'. Prema gotovo svjetski poznatoj narodnoj pjesmi, ponosni Hasan-aga otjerao je suprugu iz svojih dvora jer mu nije dolazila u posjet dok je bio ranjen nakon jednog od brojnih 'megdana' - borbe dvojice suparnika. Iako se Hasanaginica mogla nakon toga udati za imotskog kadiju, nije mogla izdržati razdvojenost od svoje djece i okrutnost svog bivšeg muža te je od tuge umrla na putu za Imotski pred Hasan-aginim dvorima. Tvrđava Zadvarje je definitivno oslobođena 1684. godine. Veliki turski napad pretrpjet će ponovo 1685. godine. Višednevna opsada je bila mučna, velika turska vojska je bila utaborena u Radobilji, vjerojatno na potezu Katuni-Šestanovac-Žeževica. Ta bitka je bila toliko važna da je nagnala tadašnjeg splitskog nadbiskupa Cosmija da brodom dođe do Vrulje i tamo sačeka njen ishod pohoda kako bi vijesti što prije javio dalje. U obrani tvrđave se istaknuo njen tadašnji zapovjednik, Splićanin Augustin Tartaglia. On je izveo pravi 'sigetski' proboj iz opkoljene utvrde, potjeravši Turke u panični bijeg. Već u prvoj polovici 18. stoljeća polako gubi na važnosti iako se vojna posada koja ima svog kapelana tu zadržava do početka 19. stoljeća. Samo mjesto ostaje i dalje važno trgovište. Na svojim putovanjima, u Zadvarju se zadržao isusovac, putopisac i prirodoslovac Alberto Fortis nazivajući ga '...vrlo važnim mjestom koje sa sobom nosi sudbinu cijelog primorskog kraja od Omiša do Neretve...'. Fortis se tada divio vodopadima na Gubavici i ogromnim orlovima koji obitavaju u kanjonu Cetine sve do njenog ušća.
Tvrđava je u današnjem obliku u drugoj polovici 15. stoljeća. Trokutastim tlocrtom dominiraju dvije kule na sjevernom bedemu. Sjeverozapadna kula je u donjem dijelu zakošena odnosno ima skarpu koja se gradi radi lakšeg podnošenja topovskih napada. Unutar tvrđave sagrađeno je nekoliko kuća za posadu dok su se uz sjeverni bedem smjestile crkvica, cisterna za vodu i uništeno spremište oružja i baruta. Kružna građevina na spoju južnog i zapadnog bedema kao i ojačanje sjevernog bedema potječu vjerojatno iz vremena turske uprave odnosno druge polovice 16. stoljeća kada Turci ojačavaju svoje položaje u Dalmaciji. Vjerojatno su tada sagrađene i manje kule na stijenama zapadno od tvrđave (Kula i Kuletina). Visoko iznad tvrđave nalazi se ostaci velike kružne kule Avale kao i još jedne slične na kraju iste planinske kose iznad Gornjih Brela (Poletnica). Tvrđava i kule kontrolirali su karavanski put sačuvan na južnim padinama ispod tvrđave, kao i na nekoliko mjesta pokraj izvora Zvizda, u dolini južno od zaseoka Šodani, te u kanjonu Prosik i dalje prema Dubcima. Za taj put vezani su i ostaci gostionice koju nalazimo na kartama s početka 18. stoljeća, ali zasigurno se radi o starijoj građevini. Nalazi se 50-ak metara južno od južnog bedema tvrđave.
Godine 2005. započelo se s arheološkim istraživanjima i obnovom zadvarske tvrđave.
(Do utvrde se dolazi stazom od zadvarskog groblja i crkve sv. Ante prema zapadu ili se na izlazu iz mjesta u pravcu Gornjih Brela skrene prema 'Vodospremi' iznad Zadvarja iznad koje se nalazi utvrda. Obilazak tvrđave je na vlastitu odgovornost.)