Današnja Sremska Mitrovica ispod svojih ulica i kuća krije tragove nekada raskošnog i moćnog rimskog grada Sirmijuma.  Njegova istorija se može pratiti od vremena Augustovog pohoda na Ilirik (35.-33. pre .n.e), pa sve do 582. godine kada grad pada pod avarsku vlast.  Rimljani su verovatno zauzeli Sirmijum u vreme Tiberijevih ratova u Panoniji (13.-9. pre n.e), a  za vreme  flavijevske dinastije Sirmijum je dobio status kolonije (Colonia Flavia). Veoma često je korišćen kao vojna baza za pohode protiv varvara koji su neumorno ugrožavali granicu ovog dela Carstva.

Od nastanka kolonije, pa sve do kraja IV veka, istorijski izvori pominju Sirmijum kao povremeno boravište mnogih rimskih careva. Iz istorijskih izvora  znamo da su u periodu od I do III veka u Sirmijumu duže ili kraće boravili Domicijan, Marko Aurelije, Septimije Sever, Maksimin Tračanin, Klaudije II Gotski, Prob, Dioklecijan i neslavni uzurpatori Ingenuus i Regalijan, kao i da je u gradu i njegovoj okolini rođeno 5 rimskih careva: Decije Trajan, Aurelijan, Prob, Maksimijan Herkulije i Gracijan. Grad doživljava najveći procvat krajem III i tokom IV veka, kada postaje jedna od prestonica Rimskog carstva i povremeno sedište rimskih imperatora Dioklecijana, Licinija,  Konstantina Velikog, Konstancije II,  Juliana, Valentinijana I, Gracijana i Teodosija.

Prilikom arheoloških istraživanja Sirmijuma pored Carske palate sa rimskim cirkusom, otkrivene su i druge monumentalne javne gradjevine kao što su tzv. „Licinijeve terme“, žitnica (horreum), trgovačke i zanatske četvrti. Pronađene su luksuzne gradske vile, ali i višespratne stambene zgrade, zvane insulae, u kojima je živelo siromašnije stanovništvo. Grad je bio zaštićen moćnim bedemima, a snabdevao se vodom preko akvadukta sa izvora fruškogorskog potoka Vranjaša. Ulice su imale portike, kanalizaciju i bile su popločane kamenom. U gradu je tada radila kovnica novca, radionice za izradu raznih predmeta od plemenitih metala, stakla, keramike, a proizvodile su se i opeke.
Poznati rimski pisac iz IV veka Amijan Marcelin naziva ga slavna i mnogoljudna majka gradova.