A visegrádi király palota előzménye a palotamúzeum leírása szerint Károly Róbert városi háza volt. Komoly palotává csak I. Lajos fejlesztette uralkodása első felében. A romjaiban ma is álló épületeket még szintén I. Lajos kezdte meg építeni élete végén de már csak utódai: Mária és Zsigmond fejezték be a XIV. század végén.
A XV. század első évtizedéig, míg Zsigmond az udvarát Budára nem költöztette, a visegrádi királyi palota maradt a magyar uralkodók hivatalos székhelye. A XV. században háttérbe szorult palotát csak Mátyás állítatta helyre a XV. század végén. Ettől kezdve, az 1544-es török hódításig a magyar királyok vidéki rezidenciája volt. A török időkben rommá vált épületet a XVIII. század közepén lebontották. 1934 óta folyó feltárása és helyreállítása során maradványait múzeummá alakították.
A királyi palotának a XIV. század végén kialakult épületegyüttese három fő részre tagolódott. Északon a palotakert, délen pedig a ferences kolostor fogta közre a központi épületcsoportot amely nagyjából 123 x 123 méteres területet foglalt el. A kaputorony az utcai homlokzat közepén épült. A nagy fogadóudvart a nagytermeket magába foglaló északnyugati, a királyi lakosztálynak helyet adó északkeleti, a palota kiszolgáló helyiségeit tartalmazó délnyugati és délkeleti szárnyak, valamint a palotakápolna fogták közre. Az udvar déli részét gyalogos lovagi tornákra használták. Az udvar felső részén helyezkedett el a reneszánsz Múzsák-kútja. Innen nyitott lépcsősor vezetett a kápolnateraszra.