Położony na ostrowie zamek należał (razem z Brasławiem ) do księstwa połockiego. Niedaleko krzyżaccy rycerze Zakonu Kawalerów Mieczowych zbudowali Dyneburg.

Według kroniki M.Stryjkowskiego pomiędzy latami 1234 -1240 nad jeziorem Dryświaty wojska litewskie stoczyły potyczkę z Krzyżakami pod wodzą wielkiego mistrza zakonu inflanckiego Ervsta.

Pod koniec XIII w. prawdopodobnie Dryświaty zniszczył najazd krzyżacki. Zamek w Dryświatach był wymieniony w porozumieniu (1402) krzyżacko-litewskim za panowania brata Jagiełły - wlk. księcia Świdrygiełły. Kolejny napad krzyżacki miał miejsce w 1413 roku.

25 paĄdziernika 1500 Dryświaty odwiedził król Polski, wielki książe litewski Aleksander Jagiellończyk z żoną Heleną.

W listopadzie 1514 okolice rabował oddział wojsk moskiewskich. 16 marca 1517 przez Dryświaty przejeżdżał podróżnik i dyplomata Zygmunt Gerbersztein. Okoliczna szlachta otrzymała nadziały ziemi (1533) wokół jeziora w zamian za obowiązek służby wojskowej na zamku.Zamek był także wzmocniony (1557) 100-osobowym oddziałem pod komendą Zakliczewskiego i oddziałem polskiej kawalerii (1561).

Dryświaty były zaznaczone na wydanej w Wenecji (1562) mapie Polski. Król Stefan Batory zatwierdził (1579) wcześniejszy przywilej dla szlachciców w Dryświatach - Stefana i Jakuba Paszewiczów. O dużym znaczeniu dryświackiego zamku wspomina w maju 1590 niemiecki podróżnik Johan Vunderer, przejeżdżający przez miasto.

Na ostrowie na jeziorze zbudowano też kościół (1514) zastapiony nową świątynią (1611). gdy w pierwszej połowie XVII wieku wielki pożar zniszczył zabudowania ostrowa, ocalał tylko budynek kościoła. Miasteczko odbudowano wówczas na brzegu jeziora. Dryświaty i okolice zostały spustoszone przez wojska szwedzkie (1655) podczas "potopu".

Słynny kompozytor Michał Kleofas Ogiński gospodarował w Dryświatch (1790-94). Po wybuchu powstania kościuszkowskiego sprzedał majątek i uposażył blisko 500-osobowy oddział powstańczy, walczący póĄniej pod Drują. W sierpniu 1794 uczestniczył w dywersyjnym rajdzie na Dyneburg.

Przed 1915 powstalo w mieście z inicjatywy ks. F. Michalowskiego Towarzystwo Rolnicze. Wkrotce zorganizowano straż pożarną.

W I wojnie światowej 11 września 1915 miasteczko zajęły wojska niemieckie. Dzień póĄniej konnica rosyjska pod dowództwem gem. Skoropadskiego odbiła miasto. Do paĄdziernika 1915 Niemcy i Rosjanie toczyli ciężkie walki w okolicach miasta, gdzie przechodziła linia frontu.

Jesienią 1916 wojska carskie przygotowywały ofensywę z okolic Dryświatów, w ostatniej chwili jednak zostało ono odwołane.

W lutym 1918 Dryświaty i okolice zajmują Niemcy. Po ich wycofaniu władże przejęła w grudniu 1918 bolszewicka rada "robotniczo-żołnierska".

24 sierpnia 1919 roku miasteczko wyzwoliły oddział Wojska Polskiego.6 paĄdziernika w majątku Miluniec odbył sie pierwszy zjazd mieszkańców Dryświat i okolic. W II Rzeczpospolitej w liczącej 200 (póĄniej 400) mieszkańców miejscowości zbudowano drewniany kościół. 29 czerwca 1931 Dryświaty odwiedził prezydent Rzeczpospolitej Polskiej Ignacy Mościcki, który koło wioski Paszewicze spotkał się z reprezentantami staroobrzędowców.

We wrześniu 1939 miasto okupowały wojska sowieckie. W 1940 utworzono spółdzielnię produkcyjną, a następnie kołchoz im. Mołotowa. Od lipca 1941 okupowane przez wojska niemieckie.

W kwietniu 1944 okoliczni mieszkańcy sformowali 24 Brygadę Okręgu Wileńskiego Armii Krajowej "Dryświaty" . 4 lipca 1944 przez miasto przeszedł sowiecki 141 pułk strzelców gwardyjskich, a 11 lipca Dryświaty okupowały oddziały sowieckie 166 dywizji strzeleckiej.

Od 1991 w niepodległej Białorusi, zamieszkałe przez blisko 400 mieszkańców. Zachodnim brzegiem jeziora biegnie obecnie granica białorusko-litewska. 10 kilometrów dalej na północ stykają się granice Białorusi, Litwy i Łotwy.