1923年，张淦在陆荣廷部队任少校副官。陆荣廷失败后，所率部众被李宗仁收编，任营长。

1926年后，张淦历任第7军中校副官、上校副官长。

1928年，张淦陆军大学毕业后，任第8军参谋长。

1937年，张淦任第48军参谋长。

1938年6月21日，张淦任第7军军长，并率部参加武汉会战、随枣会战。

1939年11月13日，张淦任国民党军中将。

1939年曾任第21集团军副总司令、第7绥靖区副司令官。

1947年，张淦任第3纵队司令。

1948年8月，张淦任第3兵团司令官，并率部参加长江防御战。

1949年4月，张淦任华中军政长官公署副长官兼第3兵团司令官。

1949年12月1日午夜，张淦在自己设在广西博白县图书馆的指挥部，企图集结余部从合浦海上逃跑时，被中国人民解放军4野43军382团飞虎队俘虏。后被关押于北京功德林战犯改造所。