自然や歴史、文化などの側面から港区を知り、交流することができる施設。1938（昭和13）年に建設された旧公衆衛生院という歴史的建造物を活用している。
東京大学建築学科教授の内田祥三（うちだ・よしかず）が設計し、鉄骨、鉄筋コンクリート造りの構造に「内田ゴシック」と呼ばれるスクラッチタイルで覆われたゴシック調の外観が特徴的だ。建物内部の旧講堂などには細部にわたる意匠が当時のまま残されている。また、床、壁に石材を使用したユニークなデザインの2層吹き抜けの中央ホールも見逃せない。
有料の常設展では「海とひとのダイナミズム」「都市と文化のひろがり」「ひとの移動とくらし」の3つのテーマに分けて港区の歴史を紹介。また、年に4回ほど特別展や企画展を開催している。そのほか、カフェ、ミュージアムショップ、図書室などが併設しており、歴史的な建物の中で優雅な時間を過ごすことができる。