幼年因家贫辍学，后得堂兄潘绍龙鼎力相助，从师廪生张鼎文，学识文章大有长进，于清道光五年考中秀才、八年考中举人、九年连捷进士，选翰林院庶吉士，武英殿协修，留在京城编史修志，因其书法文章俱佳，勅封文林郎散馆。同僚妒其年少才俊，谗言诋毁，被谪直隶元氏县知县，因父卒回家守丧，服除后任福建瓯宁县知县，不到一年，又因母卒归，服除后不复出。1881年（清光绪七年）去世。

潘绍烈于嘉庆元年出生在一个贫苦的农民家庭，幼年时即天资聪颖，喜爱读书。因为家庭贫困不能自给，入塾不久即被迫辍学在家，放牛打柴，得闲仍手不释卷，书声琅琅。堂兄潘绍龙时为济南藩署椽吏（掌管粮米、伙食供给的小官），为人乐善笃义，听说后十分惋惜，主动把绍烈叫来义塾，和他的子侄同师就读，连上学用的笔墨纸砚等都一概承担下来，并在生活中不断给绍烈家庭予以周济。出资供绍烈赴县城参加考试，后又将绍烈接到省城读书，遇到才华出众的人和知识渊博的学者，便领着绍烈前去拜访，请求指教文章的优劣。耳濡目染之下，潘绍烈的学问得以砒砺，见识增长了许多。有时绍烈贪玩偷懒、堂兄就非常严厉地批评训斥，从不宽容留以情面。在堂兄的严厉管束督促之下，绍烈读书十分刻苦用功，历经十几载寒暑，学识逐渐渊博，文章日臻圆熟，终于在乙酉年（道光五年，1825年）考中秀才，三年后（道光八年，1828年）考取举人，次年（即道光九年，1829年）考中进士，时绍烈年33岁。因为是考取举人后随即考中进士，故榜称“联捷”。考中进士后，皇帝又亲自主持，举行了二轮殿试，因绍烈诗文书法俱佳，被授予翰林院庶吉士，武英殿协修，并敕封为文林郎散馆，留在京城编史修志，校点天下文章，潘绍烈被封为翰林院学士。人们都知道，凡派往翰林院的，均是高材生。他因年少才俊，深为同僚所妒，多有谗言低毁，被贬谪出京城，到元氏县做了一任知县。在元氏县令任上，他革除陈弊，广兴商贸渔盐之利，多有惠政，百姓称颂。因不善逢迎往来之法，甚不为上司所重，藉以口实，不久易地瓯宁，又做了一任知县。在瓯宁县，他初衷不改，“为官心存君国”，虽处江湖之远，仍弹精竭虑，兴利除弊。在其治下，瓯宁一片清明，政通人和，百废俱兴，深为百姓和当地士绅所拥戴。