XVI a. dabartinių rūmų vietoje, tada vadintoje Didžiosiomis Lukiškėmis, parko tipo sode už miesto gynybinės sienos, šalia Vilijos vartų, stovėjo Mikalojaus Radvilos Juodojo rūmai. XVII a. viduryje Lietuvos didysis etmonas, Vilniaus vaivada Jonušas Radvila (1612–1655) pagal architekto Jono Ulricho (projektavo ir Radvilų Biržų pilies rūmus) projektą pasistatydino rezidencinius rūmus. 

Originalūs rūmai pavaizduoti 1653 m. vokiečių medalininko Sebastiano Dadlerio (1586–1657) medalyje, nukaltame Jonušo Radvilos inauguracijos į Vilniaus vaivadas proga.

XIX a. pradžioje tuometinis rūmų savininkas Dominykas Jeronimas Radvila (1786–1813) apleistus, negyvenamus rūmus perleido Vilniaus labdarių draugijai, kuri čia tvarkėsi iki 1940 m.

1967 m. rūmuose pradėti restauravimo darbai. Tuomet buvo likę tik 2 rūmų korpusai (šiaurinis ir rytinis) ir vienas – šiaurinis – paviljonas. 1984 m. buvo atstatytas ir antras – vakarinis – paviljonas.

Imaginacinius rūmų paveikslus XX a. tapė Vytautas Gabriūnas (1930–1992).

1990 m. restauruotoje Radvilų rūmų dalyje įkurtas Lietuvos dailės muziejaus padalinys.