1933年に建てられたこのアールデコ様式の邸宅は、かつては朝香宮殿下と、その后であり明治天皇の第八皇女である允子内親王の住居だった。夫妻は、1920年代のパリでアールデコとよばれる装飾様式に触れ、帰国後、朝香宮邸を建てた。大広間や大食堂など、主要な部屋の内装はアンリ・ラパンの手によるもので、玄関のガラスレリーフ扉などはルネ・ラリックのデザイン。建築そのものは宮内省内匠寮の技師、権藤要吉が担当、設計した。館内で行われる展覧会では、作品だけでなく、それらと室内空間の調和を楽しむことができる。
2014年11月、本館の改修工事とともに、アドバイザーに杉本博司を迎え新館を改築。新館には、ホワイトキューブの展示空間が備わり、映像や音楽、パフォーミングアーツなど、より多様で分野横断的な表現の舞台となることが期待される。オリジナルグッズやオリジナルスイーツを提供するミュージアムショップやカフェも新設。
