日本图书馆的出现在很大程度上是受中国的影响。公元607年，日本圣德太子建立了私人藏书楼“梦殿”，其为日本最早的图书馆。大宝元年（701），日本仿照中国隋唐的制度制定《大宝律令》，在中务省设图书寮，以管理并收藏图书。平安时期（710～1192）奈良出现了私人文库(即私人图书馆)。宝龟年间（771～780），石上宅嗣建立了私人图书馆“芸亭”，允许任何有志于研习的学者使用。镰仓时期（1192～1333）日本出现了“武家文库”（即武士的私人图书馆），其中最有名的是金泽文库。室町时期（1338～1573）建立了足利学校藏书库。江户时期（1603～1867）的第一代将军德川家康分别在骏府（今静冈）和江户（今东京）建立了骏河文库和红叶山文库，各地的藩主也纷纷建立文库。此外，还出现了许多神社和佛阁的文库以及一些私人文库。1868年明治维新前后，日本历史上的文库逐渐转变为近代的图书馆。日本政府此时也重视发展图书馆事业，多次派人去欧美考察图书馆事业。随后，福泽谕吉创办了庆应义塾大学图书馆和京都集书院。1872年，政府在东京建立了向公众开放的书籍馆，1880年改名为东京图书馆，1897年又改称帝国图书馆。这也是日本国立国会图书馆的前身。1892年成立了日本文库协会，即日本图书馆协会的前身。1898年日本政府下令兴建各类型图书馆，1899年颁布《图书馆令》，奠定了日本图书馆事业的法律基础。1927年前后编辑出版了《日本十进分类法》和《标题表》以及图书馆专业杂志《图书馆学研究》，日本的图书馆事业开始发展起来。

       日本的图书馆体系具体包括：

       1.国家图书馆 日本的国家图书馆是日本国立国会图书馆，建立于1948年。该馆不仅为国会提供服务，也向一般读者开放。

       2.公共图书馆 日本的公共图书馆分公立和私立两种。目前全国共有公共图书馆2000余所，正式工作人员2万人，兼职人员数千人，藏书2亿册。

       3.高校图书馆 日本的大学有国立、公立和私立3种，每类又有大学、短期大学和高等专门学校之分。日本目前有大学图书馆近千所，藏书1.3亿册；短期大学图书馆400多所，藏书2000万册；高等专门学校图书馆61所，藏书300万册。

       4.专门图书馆 日本的专门图书馆很多，其中较著名的有东洋文库、静嘉堂文库等。

       5.中小学校图书馆 按法律规定，日本的中小学必须设立图书馆。目前由于各地经济和图书馆发展状况不同，发展很不平衡。

       6.图书馆学教育 第二次世界大战前，日本只有1921年成立的文部省所属的司书养成所负责培训图书馆员，1964年改为国立图书馆短期大学，学制2年，并为其他专业的大学毕业生提供1年图书馆学课程，毕业后均可获得“司书”（馆员）称号。1980年该校迁至筑波市，改名为图书馆情报大学，1984年增加了硕士课程。战后，庆应义塾大学文学部在美国图书馆协会和洛克菲勒基金会的支持下，于1951年设立了日本图书馆科，后改为图书馆和情报学系，1967年增加了硕士和博士研究生课程。此外，到20世纪80年代中期，有107所大学和94所短期大学提供图书馆学选修课。东京大学教育学部和京都大学教育学部都提供图书馆学硕士研究生课程。

       7.图书馆团体 日本图书馆协会成立于1908年，前身是1892年成立的日本文库协会。其任务是促进图书馆事业的建设，提高服务质量，维护图书馆员的利益，开展学术活动等。其会刊为《图书馆杂志》（月刊）等。此外，还有按图书馆类型成立的协会，如公共图书馆协会、大学图书馆协会、专门图书馆协会等，按学科成立的协会，包括医学图书馆协会、农业科学图书馆协会等。