Dal 1450 al 1535 il ducato, e così il Castello, passarono sotto la guida della famiglia Sforza che cercò di riportarlo ai suoi anni di gloria. La testimonianza delle opere e dei lavori messi in atto dalla famiglia si deve a Gian Galeazzo Maria, che ne redasse dei documenti ufficiali, preziosi per conoscere la vera struttura originaria.

Nel 1499, con la caduta del Ducato, gran parte dei manoscritti della biblioteca furono trasferiti a Parigi da Luigi XVII°. Gli anni a seguire furono un succedersi di guerre e battaglie per accaparrarsi il dominio dei territori e del castello. Nel 1524 il parco divenne teatro della cattura di Francesco I, motivo per il quale nel 1527, in segno di vendetta, il conte Lautrec bombardò il lato settentrionale della struttura, che collegava la residenza ducale alla Certosa, distruggendolo per sempre.

Tra il 1535 e il 1859, si successero fra loro la dominazione austriaca, che nel 1815 convertì i sotterranei del castello in scuderie, e quella spagnola. Nei secoli successivi al 1706, la struttura divenne inoltre un arsenale militare, decretando così l'inizio ufficiale di un lungo periodo di disfacimento e decadenza.

È solamente dopo l'Unità d'Italia che si iniziò a valutare una riqualificazione e valorizzazione del Castello come patrimonio culturale e museale. Tuttavia, la presenza dei militari e lo scoppio della Prima Guerra Mondiale ritardarono ogni progetto fino al 1920, anno in cui il monumento divenne ufficialmente pubblico e il comitato cittadino votò a favore di una restaurazione completa.

Nel 1924 iniziò la prima fase dei lavori: scalinate, merlature, finestrate, porticato, intonacature e problemi strutturali vennero man mano sistemati, conferendo il disegno architettonico che oggi possiamo ammirare. L'idea era quella di realizzare un luogo in cui luci ed ombre potessero giocare con la storia, accompagnando il visitatore in un percorso in cui arte e splendore fossero i veri protagonisti.

Nel 1932 la gestione della struttura passò dallo Stato al Comune di Pavia e la sua inaugurazione avvenne nel 1938 alla presenza del re Vittorio Emanuele III di Savoia. I lavori, seppur rallentati dallo scoppio della Seconda Guerra Mondiale, continuarono fino al 1947, con l'allestimento delle prime sale del Castello a cui successero nel 1948 l'apertura dell'ala dedicata al Museo del Risorgimento, nel 1951 quella dedicata alla scultura romanica e rinascimentale e alla gestione dei reperti delle Cattedrali di Santo Stefano e Santa Maria del Popolo, abbattute per lasciare spazio al Duomo.

Il Primo Piano si articola delle seguenti aree:

• la Pinacoteca Malaspina: qui è possibile ammirare alcune opere della collezione del Marchese Luigi Malaspina, fra le quali il Ritratto d'uomo, di Antonello da Messina, la Madonna col Bambino di Giovanni Bellini, il Cristo portavoce e monaci certosini di Bergognone e Pala Bottigella di Vincenzo Foppa;

• la Sala del modello ligneo del Duomo;

• la Pinacoteca del '600-'700, nella quale si può trovare il quadro Testa di orientale di Giandomenico Tiepolo;

• la Sala del collezionista, di grafica ed arti applicate;

• la Sala detta "della Battaglia di Pavia";

• la Sala detta "Biblioteca di corte";

• la zona interdetta al pubblico che ospita la Biblioteca, la Fototeca e gli Uffici.

Al Secondo e ultimo piano si trovano le seguenti sezioni:

• il Museo del Risorgimento nel quale si trovano esposte le Giubbe garibaldine e il quadro di Federico Faruffini La battaglia di Varese;
• la sala "Pavia e la Grande Guerra";
• la sezione di Scultura moderna e Gipsoteca, nella quale è possibile ammirare il Ritratto di Pacifico Buzio, di Medardo Rosso, e il Trionfo di Alessandro Magno a Babilonia, di B. Thorvaldsen;
• la Quadreria dell'800 con il quadro di Francesco Hayez, Accusa Segreta, e di G. Kienerk, L'enigma umano, trittico (Il dolore, Il silenzio, Il piacere);
• la sala Civica e la Scuola di Pittura;
• la Collezione Morone e Paesaggi pavesi del '900 con la Riflessione di G. Zandomeneghi;
• l'Archivio fotografico Chiodini, non aperto al pubblico;
• lo Spazio '900/2000.