Napriek svojmu nespornému architektonickému a historickému významu sa areál kaštieľa doposiaľ komplexne neskúmal ani nehodnotil. Poznatky o jeho stavebnom a umeleckohistorickom vývine nie sú úplné. Čiastkové výskumy realizované od šesťdesiatych rokov 20. storočia však dávajú možnosť aspoň predbežne zhodnotiť tvar i celkový výraz objektov v jednotlivých etapách jeho stavebného vývinu. V historickej a umenovednej literatúre sa za najstaršiu stavebnú etapu kaštieľa označuje obytná gotická veža s dvorcom či vodný hrad. Doterajšie výskumy však existenciu staršieho objektu tohto charakteru nepotvrdili, ale ani nevyvrátili. Za hmotný dôkaz je možné zatiaľ považovať iba viaceré v múroch kaštieľa a ostatných budovách jeho areálu sekundárne zabudované fragmenty architektonických článkov, pochádzajúce pravdepodobne z pôvodného objektu. Jedinou indíciou preto zostávajú len písomné pramene.

V r. 1563 získal František Thurzo, zakladateľ bytčiansko-oravskej vetvy rodu, za 17 000 zlatých panstvá Hričov a Bytča. Vďaka jeho rozhľadenosti a významným kontaktom s kultúrou vtedajšej Európy vzniklo na starších základoch vo svojej dobe veľmi moderné architektonické dielo. Základnú koncepciu tohto diela vytvoril staviteľ Ján Kilian de Syroth z Milána.

Celá základná stavba kaštieľa bola pravdepodobne hotová v priebehu 4 rokov. Doteraz jediné známe dátumy viažuce sa k začatiu a skončeniu stavebných prác sa nachádzajú na stavbe samej. O začatí výstavby informuje nápis nad vstupným portálom, ktorý v preklade znie: Za spravodlivého a nepremožiteľného Maximiliána, voleného rímskeho cisára, kráľa Nemecka, Uhorska a Čiech, dal od základov postaviť toto dielo na vlastný náklad František Thurzo z Betlanoviec roku Pána 1571. Štukový nadstavec portálu do slávnostnej siene, tzv. paloty, s erbmi Františka Thurzu a jeho manželky Kataríny Zrínskej nesie zas datovanie ukončenia prvej etapy stavby v r. 1574, rovnako ako známy renesančný komín s plastickou figurálnou výzdobou a erbmi. Do nového sídla sa však v r. 1575, po smrti Františka Thurzu, presťahovala z Lietavského hradu už len vdova Katarína Zrínska s deťmi. Pre prvú stavebnú etapu dnešného kaštieľa je charakteristické založenie pravidelnej štvorkrídlovej dispozície s ústrednou vežou nad vstupom a kruhovými vežami na nárožiach. To vychádzalo z typu talianskeho kastela, ktorý v sebe spájal reprezentačnú aj obrannú funkciu, najmä pre obavy z tureckých nájazdov. Vnútorné priestory s hladkými omietkami a rovnými trámovými stropmi boli zväčša samostatne prístupné z dvora alebo pavlače, na ktorú viedli okrem rovnoramenného priameho schodiska s kamennými stupňami aj dve bočné točité schodiská. Obrannú funkciu kaštieľa zvýrazňovali strieľne na prízemí bášt. Fasády nádvoria mali pravdepodobne už v tejto etape dekoratívnu maliarsku výzdobu.

Opevnenie areálu kaštieľa vybudovali až po jeho dokončení. Podľa inventárov Bytčianskeho panstva zo 17. storočia, posledného thurzovského z r. 1627 a prvého esterháziovského z r. 1645, bol prístup do vonkajšieho nádvoria možný len cez dva padacie mosty. Štyri bašty tvorili neoddeliteľnú súčasť tohto opevnenia. Opevnenie samotného kaštieľa tvorila ďalej priekopa, parkánový múr s kľúčovými strieľňami, kopírujúci pôdorys kaštieľa, brána a padací most. Spomínaná vstupná veža bola hranolová, štvorcového pôdorysu s dvoma polkruhovo ukončenými vstupmi. Na prvom nádvorí stála vežová obytná stavba. Obytná veža mala so vstupnou vežou identickú výzdobu, maľované striedavé kvádrovanie, vytvárajúce ilúziu plastických bôs, len v čiastočne zmenenej farebnosti.

Druhá, tzv. renesančná etapa, viažuca sa k obdobiu prevzatia kaštieľa Jurajom Thurzom, po smrti matky Kataríny Zrínskej v r. 1585, bola pre architektonický vývoj objektu i celého areálu veľmi významná. Bytčiansky kaštieľ sa stal stálou rezidenciou Juraja Thurzu – palatína a radcu cisára Rudolfa ll., sídlom správy thurzovských majetkov a centrom renesančnej kultúry a humanistickej vzdelanosti.

Najväčšou zmenou prešla dispozícia prízemia, kde väčšinu priestorov stavitelia zaklenuli valenými klenbami s lunetami. Zmena dispozície sa týkala najmä východného krídla s kuchyňami. V staršej dispozičnej schéme sa zachoval jeden z najkrajších kamenných portálov s výnimočnou a nezvyčajne bohatou profiláciou. Funkčne významnejšie priestory v tomto čase zaklenuli valenými klenbami doplnenými štukovými profilovanými pásmi a plastickými terčami, ktoré v krížení vytvárajú tvary klenieb pripomínajúce sieťové vzory neskorogotických zaklenutí. Polychrómované erbové svorníky dodávajú jednotlivým klenbám bášt zaujímavý dekoračný charakter.Cenným prameňom pre poznanie podoby kaštieľa sú inventáre, obsahujúce komplexný opis objektu. Z nich sa čitateľ dozvie o využití jednotlivých miestností a ich konkrétnom zariadení. V suteréne pod východným krídlom sa nachádza vínna pivnica, pod západným pivná. Na prízemí boli situované hospodárske priestory – komory, sklady, kuchyňa, pekáreň, miestnosť provízora, dvoranská izba a i. Poschodiu východného krídla zas dominovala veľká sála „palota“. Presvetľovali ju 4 pomerne veľké okná a vyhrievala jedinečná habánska pec. Drevený strop a dlážku vykladanú leštenými štvorcovými kameňmi dopĺňali na stenách obrazy panovníkov. Podobne boli riešené aj vedľajšie sály poschodia, kde sa ďalej nachádzala škola, lekáreň, klenotnica a ženské izby. Miestnosti priliehajúce k juhovýchodnej bašte obýval sám Juraj Thurzo.

Fasády nádvoria zdobila dekoratívna nástenná maľba realizovaná technikou al fresco v sivočiernom farebnom tóne. Na ich prízemí prechádzal iluzívny sokel s rytým kvádrovaním a nad ním sa v orámovaných poliach s kupolovitými a stanovými strieškami nachádzali portréty pravdepodobne majiteľov kaštieľa. Vonkajšie fasády kaštieľa sa postupne dotvárali ďalšími okennými otvormi s kamennými šabránami. Pôvodne plánované širšie rozmery okien, plochám vonkajších fasád úmernejšie, boli po ich zúžení doplnené širokými paspartami s bohatou ornamentálnou a figurálnou sgrafitovou výzdobou. Bohaté sgrafitové rámovanie mal aj hlavný – vstupný portál do kaštieľa.

V r. 1862 Esterháziovci kaštieľ aj s panstvom prenajali a r. 1868 predali veľkopodnikateľovi s drevom Leopoldovi Popperovi. V rukách Popperovcov kaštieľ postupne upadal. Od konca 19. storočia boli pre zadĺženie nútení kaštieľ prenajímať. V jeho interiéri vytvorili 12 súkromných bytov a administratívne priestory sídla dôchodkového a kontrolného úradu. Toto nie najvhodnejšie využitie si vynútilo zásahy do dispozície vymurovaním nových priečok a s tým súvisiacich nevhodných okenných a dverných otvorov na vonkajších, ale najmä vnútorných fasádach, zasahujúcich do pôvodnej výtvarnej výzdoby objektu.Pri neodbornom reštaurátorskom zásahu v r. 1889 a 1926-1929 sa nenávratne zničili vzácne nástenné maľby na nádvorí kaštieľa. Autori prác použili nevhodné olejové farby a okrem iného nerešpektovali pôvodný originál, jeho farebnosť, konfiguráciu ani totožnosť postáv a ich proporcie. Ustavičná hrozba požiaru donútila Leopolda Poppera vymeniť v r. 1889 šindľovú strechu za plechovú krytinu, pričom došlo nielen k celkovej výmene konštrukcie krovu, ale aj k zmene tvaru strechy do dnešnej podoby.