Pirot is in de 3e eeuw ontstaan als Romeinse legerplaats. Van toen dateert de locatie van het fort (Tvrđava). 6e eeuwse Byzantijnse documenten beschrijven dat Turres (toren) uitgebreid moet worden. Het fort heet nu Momčilov grad (Momčilo’s Stad). Hij was een Bulgaarse huurling en zelfverklaarde hertog die, zoals een gedicht beschrijft, in 1329 de stad heeft bewaakt en het fort heeft uitgebreid. In 1422 is Pirot in Turkse handen gevallen en tot 1877 gebleven.
In de Byzantijnse en Turkse tijd lag Pirot op de drukke route van Constantinopel naar Belgrado. In de Turkse tijd was de stad behoorlijk welvarend daar de Turken de traditionele geweven tapijten uit Pirot hooglijk waardeerden. In tegenstelling tot Perzische tapijten zijn de tapijten aan beide kanten voorzien van een motief met kleurenpatronen met vaak rood als overheersende kleur. Voor de wol was het houden van schapen noodzakelijk. Een ander hoog gewaardeerd regionaal product was en is nog steeds kaas: schapen, koeien, gemengd.