文久3年（1863年）、奥方のために建てられた建物で今では重要文化財に指定されている。いかにも華麗で優美な内装の中で特に、小鳥の絵が描かれたオランダ渡りのギヤマン、「謁見の間」の極彩色の欄間や「群青の間」を代表とする階上の鮮やかな色壁など、豊かな彩色がこの御殿の大きな特色。