Visoko iznad današnjeg Imotskog uzdiže se tvrđava Topana. Bizantski car Konstantin Porfirogenet sredinom 10. stoljeća spominje Imotsku županiju kao jednu od jedanaest hrvatskih županija, a njeno sjedište je već tada tvrđava smještena iznad klisura Modrog jezera. Prilikom radova na tvrđavi 80-ih godina 20. stoljeća pronađen je kameni pilastar s ranosrednjovjekovnim pleterom iz 9./10. stoljeća koji se danas čuva u Zavičajnom muzeju u Imotskom.
Središnji i najviši dio tvrđave sagrađen je tijekom 13. i 14. stoljeća kada je u vlasti plemićke obitelji Nelipića, a kasnije i Kosača. Od tog vremena do 18. stoljeća doživljava brojne pregradnje. Imotski je već krajem 15. stoljeća došao pod osmansku vlast kada tvrđava postaje sjedište imotskog kadije - suca a dijelom i civilnog upravitelja šireg područja. Nakon gotovo 230 godina turske vlasti, tvrđava 1715. godine dolazi pod mletačku vlast. Nakon višednevnog bombardiranja i zauzimanja naselja pod utvrdom, Turci su se predali i povukli prema Ljubuškom i Mostaru. Kako je grad oslobođen na blagdan Gospe od Anđela (2. kolovoza), taj se dan danas slavi kao Dan grada Imotskog i jedna od najvećih vjerskih i narodnih svečanosti u Imotskoj krajini. Nakon turskog odlaska, 1717. godine Venecija je poslala u Imotski poznatog trogirskog graditelja Ivana Macanovića da popravi tvrđavu, te su obnovljeni glavni ulaz i zidovi. Završetkom turske opasnosti tvrđava je izgubila stratešku vrijednost pa je 1816. godine napuštena i tada počinje i njeno propadanje. Uvelike je oštećena početkom 20. stoljeća gradnjom spremišta za vodu na najvišem platou.
Tvrđava je nepravilnog oblika koji prati oblik klisure na kojoj je podignuta, dužine oko 40 metara. Sagrađene je na nekoliko razina, a vidljivi ostaci se datiraju u vrijeme od 14. do 18. stoljeća, s tim da su arheološki sačuvani i raniji slojevi. Prirodno je zaštićena s tri strane: s dvije strane jezerom, a s treće suhom i dubokom vrtačom (Jelavića ili Gospin dolac) gdje je danas smješten manji gradski stadion. Južni dio tvrđave bio je nešto pristupačniji, te je tu podignut zid pojačan kontraforima kao nastavak kamene litice. Tvrđava je okružena kamenim bedemima s puškarnicama, debljine oko 1.5 metara, koji su u kasnom srednjem vijeku, zbog pojave novog vatrenog oružja, udvostručeni i uvelike izmijenjeni. Gornji dio tvrđave podijeljen je u dva dijela: viši, s ulazom na sjeveroistočnom uglu gdje su stajali stambeni prostori, cisterne s vodom i tamnica, te niži, s glavnim ulazom (iznad kojeg se nalazio župnikov stan) i crkvicom Gospe od Anđela iz 18. stoljeća. Donji dio utvrde nalazi se s južne strane i bio je branjen bedemom s okruglom kulom koja je sačuvana lijevo od glavnog ulaza, a djelomično i drvenim palisadama.