咸豐元年（1851年），文宗召繼畬還京，召對，稱其樸實(shí)，尋授太仆寺少卿。咸豐二年（1852年），吏部追論繼畬在巡撫任逮送罪人遲誤，請議處，乃罷歸。同治二年（1863年），召詣京師，命在總理各國事務(wù)衙門行走。尋授太仆寺卿，加二品頂戴。五年（1866年），以老疾乞歸。繼畬承其父潤第之教，務(wù)博覽，通時(shí)事。在閩、粵久，熟外情，務(wù)持重，以恩信約束。在官廉謹(jǐn)。罷歸，主平遙書院以自給。尋卒。從傳記看，其仕途起伏坎坷，未得顯達(dá)，與其編纂《瀛環(huán)志略》并對華盛頓稱許有加關(guān)系甚大。

清代翰林具有官員和學(xué)者雙重身份，故而于為官間歇，多能轉(zhuǎn)而為學(xué)。繼畬借在鄉(xiāng)為父守孝，于道光二十七年（1847年）將其父潤第遺作精心編為《敦艮齋遺書》共17卷，計(jì)20萬字。得先輩“空靈法界”之精髓，完成了迎接西方思想挑戰(zhàn)之精神準(zhǔn)備?！抖佤摭S遺書》于翌年即1848年與《瀛環(huán)志略》同在福州出版問世。究其思想精髓，其天論，乃“一元論”的氣本論，其人論，乃“我即天也”的人本論，其知論，乃摒棄理學(xué)教條之“空靈法界”。自傅山經(jīng)徐潤第至徐繼畬之思想脈絡(luò)，概括為“兼容并包，智周無外”者可也。鴉片戰(zhàn)爭之結(jié)局，給徐繼畬觸動(dòng)極大。已有兩百年輝煌歷史，號(hào)稱盛世的大清帝國，面對來自數(shù)萬里之外蠻荒之地的化外夷人，居然不堪一擊，一敗涂地。悵恨之余，深感夜郎自大于事無補(bǔ)，便利用一切機(jī)會(huì)，焚膏繼晷，著眼于境外之新奇世界，《瀛環(huán)志略》應(yīng)運(yùn)而生。這是亞洲第一部系統(tǒng)介紹世界地理之著述，其價(jià)值不言而喻。此書共分十卷，乃經(jīng)繼畬易數(shù)十稿而成。此書圖文并茂，立意高遠(yuǎn)，用詞雅正，令人喜聞樂見。其率先突破根深柢固的天朝意識(shí)和華夷觀念，將中國定位于世界一隅，顯示出觀念上的巨大進(jìn)步。其中尤其對美國這一新興國家表現(xiàn)出極大興趣，以濃墨重彩予以介紹，涉及立國史、政治制度等等方面，特別肯定了美國首任總統(tǒng)華盛頓之功績，其中包括前述用于華盛頓碑文之內(nèi)容。“泰西古今人物，能不以華盛頓為稱首哉！”贊美之情溢于言表。

而在當(dāng)時(shí)情況下，繼畬對西方政治制度和華盛頓的介紹與推崇，后果可想而知。以當(dāng)時(shí)清廷專制之登峰造極，理念之僵化老舊，豈能容許身為朝廷命官身份之臣下影射和抨擊自以為至美之特色制度，且公開贊美外國元首！故而有福建巡撫之免和太仆寺少卿之任，又有于翌年被革職之結(jié)局。另據(jù)何守先先生考證，當(dāng)時(shí)寧波知府畢永紹亦在贈(zèng)碑九月之后離任。堂堂大清朝地方大員，竟與西洋傳教士沆瀣一氣，“稱頌夷人，獻(xiàn)媚夷酋”，離任當(dāng)在情理之中也。