1910年，金陵大学堂图书馆在原各书院图书室的基础上建成，当时仅有西文书2250册。因金陵大学是教会学校，故受历次动乱影响较小，图书馆藏书建设发展较稳定。 至1927年11月收回教育权运动后，学校基本脱离了教会，改归教育部主管。

1924年，齐孟芳先生捐资建成新馆，曾命名为 “孟芳图书馆 ”，1928年去齐氏名，仍随学校命名。1927年学校更名为第四中山大学，1928年复更名江苏大学，旋又改称中央大学，图书馆亦随学校易名。1924年后，中央大学图书馆的藏书逐渐丰富，至1937年5月，已有中外文书刊共计407203册，其中中文图书117846册。

在南京大学图书馆的历史上，著名图书馆学家刘国钧、李小缘、施廷镛和国学大师胡小石等诸先生，先后主持过馆务。上世纪 80 年代初期，1.95 万平米的新馆落成。 2001年6月，为迎接南京大学百年校庆，进行了扩建改造 , 馆舍面积增至 2.21 万平方米。

1937年7月__战争全面爆发，南京各机关学校奉命内迁。中央大学因早有准备，故图书设备均基本搬迁，但辗转于战乱之世，难免流离损失严重。到重庆后，又进行了补充，至1944年统计，已有中文藏书121679册。金陵大学因与教会渊源很深，故一度存有幻想，及至形势紧迫，乃仓促西迁，图书仅运出十分之一，而留存南京校区的图书于1942年被伪立中央大学占用，故已荡然无存。抗战时期，在成都虽努力补充，但一时难以恢复，至1943年统计，中文藏书仅有16368 册。1949年中央大学改名为南京大学，1952年南京学区院系调整，金陵大学图书馆文理科藏书并入南京大学，调整后的南京大学图书馆有藏书共73万余册。

近年来，本馆加大了发展电子文献的力度，购买了多种网络数据库、光盘数据库。至2007年底，可提供利用的电子全文包括：中文期刊 16529 种、外文期刊 17272 种、中文图书 54 万种、外文图书 26.50 万种，外国硕、博士学位论文 10 万余篇。