Położony pomiędzy jeziorami Siebież i Worono gród wspomniano pierwszy raz w Kronice Stryjkowskiego (1414), gdy jako twierdza Republiki Pskowskiej został zdobyty przez wielkiego księcia litewskiego Witolda i z jego polecenia spalony.
Wielkie Księstwo Litewskie od czasu wojny (1449) księcia moskiewskiego Wasyla z Kazimierzem Jagiellończykiem stopniowo traciło ziemie na wschodzie, ale zachowało kontrolę nad Siebieżem, który stale był jednak narażony jako gród kresowy na ataki moskiewskie.
Dopiero podczas walk o Smoleńsk (1535) roku wojewoda carski Wasyl Szujski zajął twierdzę Siebież. W celu odzyskania fortecy król Polski, Zygmunt I wysłał (1536) 20-tysięczną armię polsko-litewską pod wodzą wojewody kijowskiego (?) Andrzeja Niemirowicza, która zamku nie zdobyła i według kronik moskiewskich poniosła klęskę. Na pamiątkę zwycięstwa, wielka księżna moskiewska (córka cesarza Bizancjum) Helena ufundowała prawosławna cerkiew Św. Trójcy w Siebieżu. Źródła polskie nie potwierdzają jednak tych wydarzeń, Niemirowicz był wojewodą w latach 1511-20, a w 1536 wojewodą kijowskim był hetman Jerzy Radziwiłł.
Siebież pozostał we władaniu cara Moskwy, który (przejściowo) nadał mu miano Iwanogrodu na Siebieży. Kolejny car Iwan Grożny używał znów (1572) dawnej nazwy Siebież.
Twierdza na krótko powróciła do Rzeczypospolitej podczas I wyprawy Stefana Batorego (1579). W 1581 roku podczas rokowań pokojowych król Stefan Batory zażądał od Moskwy zwrotu zamku “Sobies” (Siebież ) i zniszczenia twierdzy w Bielsku, na co Moskwa się nie zgodziła. Ostatecznie 10-letnie zawieszenie broni (1582) w Jamie Zapolskim (Kiwerowej Górce) pozostawialo Siebież w księstwie moskiewskim.
Podczas wyprawy na Moskwę w okresie “Wielkiej Smuty” 4 kwietnia 1617 roku Siebież poddał się wojskom Rzeczypospolitej, do której powrócił na podstawie rozejmu w Dywilinie w 1619 roku (co potwierdzono w pokoju w Polanowie w 1634 roku). Komendantem twierdzy został Samuel Sowicz Korsak.
22 marca 1623 (?) roku Siebież uzyskał lokację na prawie madeburskim, prawa miejskie i herb. 8 kwietnia 1625 roku przywilej Zygmunta III Wazy nadawał około 5000 akrów ziemi dla Kozaków osiedlających się obok Siebieża i gotowych stawić się na wezwanie do obrony zamku. Zygmunt III ufundował też miastu kościół (1625), po spaleniu odbudowany (1649) jako kościół p.w. Trójcy Przenajświętszej przez Janusza Radziwiłła.
Odpowiednie uposażenie załogi twierdzy było też przedmiotem starań specjalnej komisji królewskiej za Władysława IV pod przewodnictwem Aleksandra Korwina Gosiewskiego, w efekcie nadano Kozakom 6-letnie zwolnienie od podatków.
W 1649 Sejm Rzeczypospolitej nadał Siebież w dożywotnie władanie hetmanowi wielkiemu litewskiemu Januszowi Radziwiłłowi, jako nagrodę za zwycięstwo nad Kozakami pod Łojowem.
W 1654 wojska moskiewskie zajęły Siebież, który powrócił do Rzeczypospolitej dopiero na mocy rozejmu w Andruszowie (1667)
Podczas III wojny północnej wojska rosyjskie Piotra Wielkiego dwukrotnie jeszcze zajmowały i niszczyły Siebież (1705,1707). W okresie tym umocniono mury zamkowe.
Siebież, zagrabiony w I rozbiorze (1772) przez Rosję do Rzeczypospolitej już nie powrócił. W 1777 roku stal się miastem guberni połockiej, następnie (1802) witebskiej). Podczas wojny Napoleona z Rosją (1812) Siebież zajął rosyjski korpus Wittgensteina, który rozpoczął budowę umocnień przed atakiem francuskim od strony Pskowa. Ich pozostałości wciąż są widoczne na zachodnim brzegu jeziora.
Miasto zostało kompletnie zniszczone w wielkim pożarze w maju 1885 roku, który zniszczył ponad 600 budynków. Odbudowę maista utrudniala znaczna odległość (56 mil) od Rzeżycy – najbliższej stacji na linii kolejowej Warszawa-Petersburg.
Pod zaborem rosyjskim gwałtownie zmieniła się struktura ludności miasta. Ilość Żydów wzrosła z 57 osób (1780) do 2,4 tys. (1886) – 60% ludności Siebieża. Polacy stanowili zdecydowaną większość z 400-osobowej grupy katolików, ale ich procentowany udział w ludności miasta stale malał (do około 10% w końcu XIX wieku).
W mieście zachowała się Góra Zamkowa z wałami ziemskimi (1535), dawny kościól katolicki św. Trójcy, od 1990 cerkiew prawosławna z XIX-wieczną dzwonnnicą.