合肥市图书馆为馆长负责制，下设行政办公室、物管部、网管部、采编部、辅导部、阅览部、流通部和典藏部等。阅览部设期刊阅览室和报纸阅览室，共藏有期刊近1600种，报纸160种。阅览室报刊实行全开架方式，读者凭__可以在这里阅览全国各地的报纸和最新出版的各类期刊。流通部的图书借还实行凭证借阅的服务方式。该部藏有流通图书26万册，实行半开架与闭架相结合的服务方式，读者可以通过OPAC系统或卡片式目录检索到自己所需的图书。该部还开展预约借书服务。

早在1923年，合肥有了第一所公共图书馆---合肥县立中和图书馆。1958年， “合肥市图书馆 ”被批准建制。当时馆舍面积250平方米，工作人员3人，藏书近万册；1968年市图书馆并入市文化馆；1973年市图书馆迁回市中心徽州路134号（现美菱大道612号），1974年建馆舍大楼，建筑面积2010平方米，1978年竣工。同年7月29日郭沫若先生欣然为我馆题写馆名。

1998年，合肥市政府批准建设合肥市新图书馆，新馆建筑面积1.5万平方米，投资8000千万元，新馆于2002年竣工。新馆工程是合肥市标志性重点文化工程，馆址位于环城公园西景区风景秀丽的琥珀潭旁，中西合璧中显现徽派建筑风格，造型新颖。新馆具有建筑智能化和服务功能多的特点，可容纳藏品100万件（册），有各类阅览室20个，阅览座席600个左右，藏阅一体。以两台小型机组成的双机容错系统和千兆网主干可提供10 mdash;100兆dpi自适应到桌面的OPAC查询、电子阅览、VOD点播和INTERNET出口等多种服务项目，新馆设有10个专题研究室以及具有多声道同声翻译系统的多功能会议厅和学术报告厅。合肥市图书馆与中国数字图书馆、中国学术期刊网、万方数据等机构进行技术合作，建成的数据库资源达2TB，向市民提供海量的知识信息资源服务。

合肥市图书馆的各个对外开放部门，转变了传统的服务观念，取消了周末闭馆休息的老习惯，全年３６５天，天天对外开放，日日接待读者，无论是节假日还是工作日，读者都可以来合肥市图书馆借阅图、报、刊或在电子阅览室上网冲浪。