全称为“上海市私立合众图书馆”，由叶景葵、张元济、陈陶遗等联合创办。1939年春开始酝酿，1939年5月4日，叶景葵等在上海租定辣斐德路（今复兴中路）614号为合众图书馆筹备处所在地，创办工作进入了实质性的启动。1941年春筹款自建馆舍于上海长乐路746号，同年8月1日成立发起人会，8月6日成立董事会，从而标志着合众图书馆正式创立。由陈陶遗、张元济先后担任董事长，叶景葵、李宣龚、陈叔通、徐鸿宝、陈朵如先后担任常务董事或董事。顾颉刚、钱钟书、潘承弼等先后担任顾问，顾廷龙担任总干事，具体负责各项馆务。合众图书馆馆舍南临长乐路，东临富民路，其中西北部分为叶景葵住宅，中部为空地，东部为馆舍。1946年1月24日，合众图书馆向当时的上海市教育局“呈为设立私立合众图书馆申请立案事”中谈到了其创办及命名的宗旨：“每痛倭寇侵略之深，辄念典籍为文化所系，东南实荟萃之区，因谋国故之保存，用维民族之精神。……命名合众者，取众擎易举之义，各出所藏为创。”合众图书馆创办之初，即得到社会各界数十人的捐赠匡助，文献收藏初具规模。