In Roma sorge nella zona di Valle Giulia, di fronte alla Facolta' di Architettura e vicino alla Galleria Nazionale d'Arte Moderna, dove si trovano molte altre Accademie straniere.

L'iniziativa dell'edificazione di un Istituto di cultura da parte del governo giapponese risale ad alcuni anni prima della guerra, ma solo nel 1954 fu concluso l'Accordo Culturale tra Italia e Giappone che vide tutti gli ambasciatori, avvicendatisi nella carica, adoperarsi per realizzare la costruzione dell'Istituto.

Nel gennaio del 1961 si poteva dare inizio ai lavori ed il 12 dicembre 1962, a quasi trent'anni di distanza dall'intendimento iniziale, veniva ufficialmente inaugurato l'Istituto Giapponese di Cultura, primo del genere all'estero.

L'Istituto, allora, era gestito dalla Societa' per la Promozione delle Relazioni Culturali Internazionali (Kokusai Bunka Shinkôkai), ente privato sovvenzionato dal Ministero degli Affari Esteri, ma mancava un'organizzazione a carattere nazionale, finalmente indipendente, che si occupasse di queste attivita' e le coordinasse.

Il Ministero degli Affari Esteri si assunse così il compito dei preliminari per l'istituzione di tale fondazione e, il 2 ottobre 1972, fu inaugurata The Japan Foundation (Kokusai Kôryû Kikin).

La Japan Foundation, da cui dipende a tutt'oggi l'Istituto, da ottobre 2003 e' un ente ed amministrazione indipendente con una ventina di sedi estere.