1881年著名的来华传教士、美国监理会的林乐知在上海首先开办了中西书院的第一分院，当时被称为林华书院。1882年又在上海开设了第二分院，主要是由传教士授课。随后，林乐知向美国募捐，几年后购买了35亩土地，将两个分院合并，成为中西书院。

该院学制方面定为三级8年制，先后学习识字、音韵、英语、历史、地理、代数、物理、化学、天文、力学等，一般第六年就可以毕业。如还愿意继续深造，就接着学习航海、测量、国际公法、人体生理、富国策等，属于专业培养。

在20世纪初，中国的海关、邮政、铁路以及实业界人才，大多数都出自该校。林乐知的办学方针比较开明，学生甚至可以自由发表爱国演讲。1911年该校正式并入设立于江苏省苏州的东吴大学。