上虞图书馆的前身上虞县公立图书馆，成立于1916年。1927年改名为上虞县立中山图书馆，其馆址在丰惠镇学宫路崇圣祠内。1936年，馆藏图书达16189册。主要服务项目有外借阅览等。曾附设巡回文库，分区巡回。1933年为了增加民众的阅览机会，与当时的县立中山民众教育馆合作，在民教馆增设阅书室一处。1939年5月 宁绍地区连日遭日机狂炸，图书馆为配合抗战时事和确保读者安心阅览，转移一部分图书在丰惠西门头陈氏宗祠设临时抗战书报阅览室。未移部分图书，仍在原址，供读者借阅。县城丰惠沦陷后，县立中山图书馆的藏书、设备等损失殆尽。1946年被并入民教馆。

上虞解放后，民教馆由文化馆接收。1950年9月24日县文化馆图书室对外开放。1954年县文化教育从丰惠镇迁到百官镇。1956年5月在县文化馆图书室的基础上成立了上虞县图书馆。1958年复并入县文化馆，成为其一个职能部门--图书组。"文化大革命"期间，文化馆图书室停止开放，图书被封存，损失惨重。1971年起局部恢复开放。1978年县文化馆在拆建新房时，图书馆又停止开放，图书四外搬迁，存于多处。1980年文化馆新馆建成后，图书搬迁入文化馆，既而恢复上虞县图书馆名称，行政上由县文化馆兼管。

1984年根据县人民政府"虞政复（1984）73号"文件，上虞县图书馆单独建制。1985年1月县图书馆正式与县文化馆分设。隶属县文化广播电视局（后改属县文化局）领导。同年县人民政府决定建造县图书馆新馆，并把建造新馆列为该届政府的十三件大事之一。1989年10月15日上虞县图书馆馆舍竣工。新馆座落在百官镇新建路， 主体建筑面积2825平方米，共征用土地4.5亩，总投资80.5万元。新馆藏书容量30万册，其中书库509平方米，阅览室683平方米，有阅览座位161个。1990年1月20日新馆正式对读者开放。1991年上虞撤县设市，改称上虞市图书馆。 2006年3月，上虞图书馆又一次新建馆舍，新馆地处市民中心一路2号，总建筑面积12478平方米，图书馆使用近8000平方米左右。新馆现有藏书21万册，古籍21429万多册，其中善本706册上虞地方文献资料2000余册，订有报纸120种，期刊600种。馆内辟有“胡愈之纪念室”，设图书借阅室、少儿图书室、报刊阅览室、电子阅览室、参考咨询室、自修室等服务窗口，全方位地为读者服务。2006年10月8日，新图书馆开放。2007年11月6日，外借室实现全开架阅览。2009年4月23日，中午开放，延长图书馆的开放时间由原来的6个半 小时为9个小时。

2018年，上虞图书馆内部改造，电子阅览室合并至二楼外借室，新建城市书房、亲子阅览室、国学讲堂、四库全书及地方文献陈列室、读者活动室、新自修室。