麥迪遜始終捍衛(wèi)他所參與創(chuàng)建的聯(lián)邦及其憲法。為此，他在晚年卷入了一場(chǎng)爭(zhēng)論：南方人認(rèn)為，各州有權(quán)宣布聯(lián)邦法令違憲而無(wú)效，并可以和平地退出聯(lián)邦。麥迪遜公開駁斥了這種觀點(diǎn)，他否認(rèn)了南方人主張擁有的這些權(quán)利的合法性并指出他從未有過(guò)把聯(lián)邦權(quán)力授予各州的主張。

麥迪遜是個(gè)大種植園主，但他對(duì)奴隸制持否定的態(tài)度，一貫認(rèn)為：長(zhǎng)期保持奴隸制會(huì)破壞聯(lián)邦。但他的主張是溫和的：逐步解放黑奴，將他們移殖到國(guó)外。他退休后仍然堅(jiān)持這一主張，對(duì)美國(guó)殖民協(xié)會(huì)的建設(shè)工作給以極大的關(guān)注。

麥迪遜是開國(guó)元?jiǎng)字凶铋L(zhǎng)壽的人之一，親眼目睹了工業(yè)革命在美國(guó)創(chuàng)造出的各種奇跡，看到了美國(guó)經(jīng)濟(jì)的繁榮和疆域的迅速擴(kuò)展，同時(shí)也看到了由于黑奴制問(wèn)題所導(dǎo)致的國(guó)內(nèi)爭(zhēng)端。而且，他的晚年生活陷入困頓，不得不出賣了一部分地產(chǎn)和重要的歷史文件。

1836年6月28日，麥迪遜在親屬的圍繞下與世長(zhǎng)辭，葬于祖父留下的莊園的家族墓地。他的墓碑上只刻有他的姓和生卒年月，其質(zhì)樸無(wú)華與墓主人的風(fēng)格十分吻合。