北京图书馆始创于1909年4月，当时名为“京师图书馆”，它是在清末掌管学部的大学士张之洞奏议下，根据清朝颁布的第一个关于建立图书馆的法令兴建的。热心社会教育事业的蔡元培、鲁迅、梁启超、马叙伦等曾领导并参与了建馆工作。第一任馆长是缪荃孙。京师图书馆馆址在北京鼓楼附近的什刹海广化寺。当时的藏书主要有南宋缉熙殿、明代文渊阁的部分珍本：清朝内阁大库、翰林院、国子监南学的藏书、热河避暑山庄文津阁的《四库全书》以及敦煌石室所藏写经八千卷等，图书总数不到十万册。“京师图书馆”于1912年8月27日正式开馆接待读者，1917年开始接受国内出版物缴送本，从而确立了国家图书馆的地位。1927年北伐战争结束以后，国民政府将“京师图书馆”改名为“国立北平图书馆”。1928年8月北平图书馆同北海图书馆合并成为新的国立图书馆。1931年在北海皇家花园西侧建成面积8000平方米的新馆，热河避暑山庄文津阁所藏的一整套《四库全书》善本连书匣及书架一同搬进新馆，图书馆门前的“文津街”由此而得名。
抗日战争时期，日伪政府教育总署接管图书馆，并改名为“国立北京图书馆”。太平洋战争爆发后，图书馆被迫停业。其间，有相当一部分珍贵善本，分装为210箱，辗转上海、美国，后运至台湾“中央图书馆”。到解放前夕，北京图书馆只有藏书140万册，10个阅览室，工作人员不到100人。
新中国成立后，北京图书馆作为中央一级的综合性国家图书馆，直接归国务院文化部领导。北京图书馆和1933年成立的南京中央图书馆两个国家图书馆并存的局面得到改变，北图成为我国唯一的国家图书馆。
由于北京图书馆的藏书日益丰富，原有的馆舍已远不能适应图书日益增长的需要。1987年7月1日，北京图书馆新馆在北京西郊紫竹院公园北侧正式落成，占地面积7.42公顷，由通廊连结13座建筑物，建筑面积14万平方米，可藏书两千万册。北京图书馆主楼共22层，地下3层，地上19层，楼体高达61米；两翼是阅览室，有开架书刊100万册。3000个座位每天可以接待1万名阅览者，图书馆里配有大型电子计算机和书刊传送、通讯、缩微复制等多种现代化设备。北京图书馆从建馆以来，跨越了古代“藏书楼”、“近代图书馆”、“现代化图书馆”三大历程，成为目前亚洲最大的图书馆，也是世界五大图书馆之一。作为我国唯一的国家级图书馆，北京图书馆已经与世界上106个国家和地区的1292个单位建立了固定的交换关系。