Il museo è ospitato negli ambienti del piano terreno e dei due piani superiori del Castello Orsini-Cesi, la cui fondazione risale alla seconda metà del XII secolo, al opera del Senatore Romano Giovanni Capocci; dai discendenti di questo passò, nel 1370, agli Orsini, i quali iniziarono ad ampliarlo, nella prima metà del ‘400, con la costruzione delle quattro torri angolari cilindriche.
