麥迪遜遵循了其前任創(chuàng)下的慣例，沒有謀求第三次當(dāng)選總統(tǒng)，指定詹姆斯·門羅作為他的政治繼承人，競(jìng)選第5任美國(guó)總統(tǒng)。選民們對(duì)麥迪遜的政績(jī)大力贊揚(yáng)并大力支持門羅順利當(dāng)選。

晚年生活 卸任后，麥迪遜回到養(yǎng)育了他的蒙彼利埃，決心全面退出政壇。他一面讀書、寫信、會(huì)友，一面致力于農(nóng)場(chǎng)的科學(xué)化經(jīng)營(yíng)。他要建立一座全國(guó)第一流的農(nóng)場(chǎng)，其目的：一是要使晚年生活過得更加充實(shí)，二是要填補(bǔ)幾年來農(nóng)場(chǎng)經(jīng)營(yíng)不善的虧空，另外要償還不爭(zhēng)氣的繼子欠下的債務(wù)。

與杰斐遜一樣，麥迪遜對(duì)教育事業(yè)十分熱心，贊同并參與創(chuàng)建弗吉尼亞大學(xué)，出任該校董事會(huì)的董事，杰斐遜去世后接任該校校長(zhǎng)。與此同時(shí)，他還進(jìn)行研究和寫作，整理自己在各個(gè)歷史階段所寫的論文。

1829年，麥迪遜出席了弗吉尼亞憲法會(huì)議，擔(dān)任聯(lián)合主席。該會(huì)議的使命是修訂州憲法。這是麥迪遜卸職后公開參加的唯一一次政治活動(dòng)，足見其對(duì)法制建設(shè)事業(yè)的高度關(guān)注。

麥迪遜始終捍衛(wèi)他所參與創(chuàng)建的聯(lián)邦及其憲法。為此，他在晚年卷入了一場(chǎng)爭(zhēng)論：南方人認(rèn)為，各州有權(quán)宣布聯(lián)邦法令違憲而無效，并可以和平地退出聯(lián)邦。麥迪遜公開駁斥了這種觀點(diǎn)，他否認(rèn)了南方人主張擁有的這些權(quán)利的合法性并指出他從未有過把聯(lián)邦權(quán)力授予各州的主張。

麥迪遜是個(gè)大種植園主，但他對(duì)奴隸制持否定的態(tài)度，一貫認(rèn)為：長(zhǎng)期保持奴隸制會(huì)破壞聯(lián)邦。但他的主張是溫和的：逐步解放黑奴，將他們移殖到國(guó)外。他退休后仍然堅(jiān)持這一主張，對(duì)美國(guó)殖民協(xié)會(huì)的建設(shè)工作給以極大的關(guān)注。

麥迪遜是開國(guó)元?jiǎng)字凶铋L(zhǎng)壽的人之一，親眼目睹了工業(yè)革命在美國(guó)創(chuàng)造出的各種奇跡，看到了美國(guó)經(jīng)濟(jì)的繁榮和疆域的迅速擴(kuò)展，同時(shí)也看到了由于黑奴制問題所導(dǎo)致的國(guó)內(nèi)爭(zhēng)端。而且，他的晚年生活陷入困頓，不得不出賣了一部分地產(chǎn)和重要的歷史文件。

1836年6月28日，麥迪遜在親屬的圍繞下與世長(zhǎng)辭，葬于祖父留下的莊園的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其質(zhì)樸無華與墓主人的風(fēng)格十分吻合。