Grad Brežice in poznejša mestna naselbina sta nastala na vzpetini na levem bregu reke Save, ki je bila že v prazgodovini, posebno pa še v času preseljevanja narodov, pomembna prometna pot med Balkanom in predalpskim svetom.

Grad je bil prvič omenjen leta 1249 kot castrum, nedvomno pa je stal že pred letom 1241, ko v pisanih virih prvič zasledimo Brežice. Verjetno je bila prvotna grajska stavba, v kateri je prebivala oborožena posadka, deloma še lesena utrdba. Njeni začetki so povezani z vaško naselbino Gradišče, ki je ležala na levem bregu savske struge. Na slovenskem ozemlju so se takrat utrdile fevdalne posesti tujih svetnih in cerkvenih gospodarjev. Ozemlje v trikotu med  Sotlo in Savo je v 11. stoletju prišlo v roke salzburške nadškofije in je ostalo v njeni posesti vse do konca 15. stoletja. Proti koncu 12. stoletja so Brežice  postale upravno in gospodarsko središče salzburške posesti v Posavju. Na obali reke Save so Salzburžani sezidali grad, ki je služil v upravne in obrambne namene. V gradu sta bila sodišče in  kovnica denarja. Tu je bila nastanjena tudi vojaška posadka

Grad se je po svoji legi imenoval Rain, kar v nemščini pomeni obala rečne struge. Tako je dobilo ime tudi srednjeveško mestece, ki se je razvilo okrog gradu: civitas Rain. Isti pomen ima tudi slovensko ime za mesto, ki zaznamuje mestno naselbino na bregovih reke (breg – bregci – brežci – Brežice). To nam potrjuje tudi mestni grb, v katerem so na črni heraldični osnovi nakazani trije grički (brežci), pod njimi pa je s tremi modrimi valovnicami na beli osnovi upodobljena voda.  

Leta 1479 je izbruhnila vojna med Habsburžanom, cesarjem Friderikom III., in ogrskim kraljem Matijo Korvinom, ki ga Slovenci poznamo kot kralja Matjaža. V tej vojni so Ogri zasedli ozemlje salzburške nadškofije v Posavju ter mesto in grad Brežice. Tu so ostali vse do leta 1491. Po njihovem odhodu je to območje z mirovno pogodbo pripadlo Habsburžanom. Brežice so postale deželno knežje mesto. V začetku 16. stoletja je mesto doživelo ponovno pustošenje. V vseslovenskem kmečkem uporu leta 1515 sta zgorela grad in mesto. Ti dogodki so povezani s hrvaškim vitezom Markom iz Klisa. Ko je slovensko ozemlje tega leta zajel krvavi punt, so ga kranjski plemiči poslali po vojaško pomoč k hrvaškemu banu. Marko je spotoma ujel okoli 500 žena in otrok upornih kmetov in jih kot sužnje prodal v hrvaško primorje. V dveh dneh se je pri Brežicah zbralo okoli 900 upornih kmetov, ki so čakali na vračajočega se Marka. Ta se je s svojim vojaškim spremstvom zatekel v brežiški grad, še prej pa požgal mesto Brežice. Ogorčeni kmetje so zavzeli grad in pobili vso gosposko.

Grad so nato popravljali vse do leta 1528, ko je ponovno pogorel. To je bil čas, ko so Turki zelo pogosto, celo po večkrat na leto, vpadali na slovensko ozemlje. Zato so v tem času  Habsburžani začeli z vso naglico graditi obrambni pas proti Turkom, imenovan Vojna krajina. Kot zaledje utrjenih gradov in postojank naj bi služil tudi brežiški grad. Nemški cesar Ferdinand je 22. januarja 1529 odobril za zidavo novega  gradu in utrditev mesta Brežice 3000 goldinarjev. Zidali so ga italijanski stavbeniki. Med leti 1530 do 1551 so podrli in odstranili ruševine starega gradu ter sezidali novega s štirimi obrambnimi stolpi in dvema obrambnima obzidjema. Kot stavbenik v tem času se omenja Julij Dispatio iz Merana pri Roverettu v južni Tirolski. V letih 1554 / 55 sta omenjena kot stavbenika brežiškega gradu znana renesančna arhitekta, brata Andrej in Domenico del’Allio. Kdaj so končali zidavo, ni mogoče zanesljivo ugotoviti. V gradu vzidana napisna plošča z grbom pripoveduje, da je gospod Franc Gall v. Gallenstein, lastnik gradov Luknja in Brežice, že davno prej začeto gradnjo na obmejnem ozemlju končal leta 1590. Po arhivskih podatkih ločimo pri gradnji brežiškega gradu tri faze. Med leti 1530 in 1550 je nastala obodna utrdba s štirimi vogalnimi stolpi in veznimi zidovi, med 1567 in 1579 vzhodni in zahodni grajski trakt ter končno med 1586 in 1590 oziroma 1601 severni grajski trakt in arkadni hodnik.

Brežiški grad je zelo lep primer utrjene renesančne grajske arhitekture v ravnini. V tlorisu je nekoliko nepravilen pravokotnik, na vogalih pa je utrjen z mogočnimi okroglimi obrambnimi stolpi, ponekod celo premera 4 m in so bili opremljeni s številnimi strelnimi linami. Stavba obdaja prostrano dvorišče, ki je bilo parkovno urejeno in je imelo na sredi fontano. Grajska stavba je dvonadstropna. Močno utrjeno pritličje je zidano iz rezanega kamna v obliki poševnega zidu, ki postane v višini prvega nadstropja navpičen. Poševni in navpični del razmejuje kamnit zidec. Zahodna stran grajske stavbe med severnim in južnim obrambnim stolpom  ima na dvoriščni strani v obeh nadstropjih dolga arkadna hodnika z elegantno oblikovanimi toskanskimi stebri. Jugovzhodni in zahodni stolp sta v prvem in drugem nadstropju povezana z ozkim hodnikom, v katerem so ohranjene še strelne line. Na dvoriščni strani severnega in zahodnega grajskega trakta sta na velikih zidnih ploskvah naslikani sončni uri, prva je merila čas v dopoldanskem, druga v popoldanskem času. Prvotno je bil grad zavarovan z vodnim jarkom, čez katerega je vodil dvižni most do grajskih vrat. Del verige ob piramidah pri grajskem vhodu nas še danes spominja na dvižni most, ob vzhodnem portalu pa lahko vidimo, kje so bila pričvrščena njegova kolesa.

Utrjeni brežiški grad je bil tudi edini grad v Posavju, ki se je lahko leta 1573 ubranil navala hrvaško-slovenskih kmečkih upornikov pod vodstvom Ilije Gregoriča. Debeli zidovi štirih obrambnih stolpov, ki so jih lahko branili s tremi topovi, so kmetom preprečili, da bi se približali gradu.  

Sredi 17. stoletja je grad prišel iz posesti Gallensteinov v roke Frankopanov. Po smrti Julijane Frankopan so ga njeni dediči leta 1694 prodali z gospoščino vred grofu Ignacu Mariji Attemsu.V posesti Attemsov je ostal vse do leta 1945. Grof Attems je bil zelo naklonjen umetnostnim ustvarjanjem baročne dobe, zato si je prizadeval, da bi v njegovih gradovih na Štajerskem (Podčetrtek, Štatenberg, Slovenska Bistrica, Dornava pri Ptuju) slikali priznani štajerski umetniki njegovega časa. Ta njegova umetnostna prizadevanja v duhu baroka so bila v gradu Brežice uresničena v največjem obsegu v letih 1694—1732. Attemsi so najprej  prezidali vzhodni trakt in uredili viteško dvorano, ki jo je pred letom 1703 verjetno poslikal Frančišek Karl Remb. Nato so pred južnim traktom nasuli teraso in jo uredili kot vrt. Okoli 1720 so preuredili zahodni trakt in zgradili reprezentančno stopnišče ter kapelo, ki ju je poslikal Franc Ignac Flurer. V drugi polovici 18. stoletja je grad dobil novo ostrešje, stolpi pa mansardne strehe. Attemsi so uredili tudi okolico gradu, zasuli jarke in te površine spremenili v vrtne nasade.

Po zemljiški odvezi leta 1848 in odhodu Attemsov je grad dobival vse bolj zanemarjen videz. Zazidali so nadstropne stebriščne arkade, prezidavali okna in vrata, spreminjali prostore in zanemarjali grajsko okolico. V grad so namestili  različne urade in nekatere prostore spremenili v stanovanja. V prvi svetovni vojni so v delu gradu namestili vojaško bolnišnico za ranjence s soške fronte. Potres leta 1917 je močno prizadel grajsko poslopje in uničil okrasne štukature. Občutno škodo so stavbi povzročile številne prezidave in neprimerna namembnost.

Po drugi svetovni vojni so v gradu dobili prostore Vino Brežice in 26 družin. Od leta 1949 ima v gradu razstavljene svoje zbirke Posavski muzej Brežice, ki je začel grad postopoma obnavljati. Dela so potekala najprej v notranjosti nato tudi zunaj gradu, ves čas pa v skladu s spomeniškovarstvenimi načeli in s potrebami muzeja. Danes so vsi prostori razen kleti namenjeni muzeju in kulturnim prireditvam.