為了使新憲法在弗吉尼亞得到批準(zhǔn)，應(yīng)華盛頓的強烈要求，麥迪遜又參與了爭取新憲法得到批準(zhǔn)的運動，因為華盛頓看到，在弗吉尼亞，反對憲法的勢力相當(dāng)強大。通過競選，麥迪遜進入了弗吉尼亞州的批準(zhǔn)會議，他不僅成了贊成批準(zhǔn)一派的領(lǐng)袖，而且指導(dǎo)了會議辯論。麥迪遜有力地為聯(lián)邦制和分權(quán)原則作辯護，他一再強調(diào)：新憲法將給國家?guī)戆踩?、穩(wěn)定和繁榮。經(jīng)過極其激烈的斗爭，憲法在弗吉尼亞得以批準(zhǔn)。

在憲法批準(zhǔn)運動中，麥迪遜寫文章闡述了他本人的憲政思想，以說明新憲法對于美利堅民族繁榮富強的重要意義，強調(diào)它優(yōu)于《邦聯(lián)條例》并試圖消除人們對加強政府權(quán)力的恐懼心理。這些文章被編入《聯(lián)邦黨人文集》，成為對聯(lián)邦憲法的權(quán)威性解釋，麥迪遜的幾篇最精彩的論文是其中的精華部分。

但麥迪遜為此也付出巨大代價。由于他在弗吉尼亞的憲法批準(zhǔn)運動中冒犯了政治強人帕特里克·亨利，而亨利的強烈抵制使他未能進入國會參議院，后經(jīng)過激烈競爭才進入眾議院。

新憲法中沒有權(quán)利保障條款，這與麥迪遜一貫的政治原則不符。為了彌補這一重大缺憾，麥迪遜參加了起草《權(quán)利法案》的工作。1791年，國會終于通過了憲法前十條修正案（即《權(quán)利法案》）。

國務(wù)卿 在眾議院任職早期，麥迪遜是華盛頓總統(tǒng)的親信和重要助手，這主要是由于他在制憲運動中的杰出表現(xiàn)給華盛頓留下了極深的印象。他提出過許多重要的法案，其中一些通過生效，如稅收法等。他在建立政府行政部門的過程中為華盛頓總統(tǒng)出謀劃策。華盛頓的一些重要文件也出自他的手筆，如《就職演說》和《告別演說》。由于麥迪遜的卓越貢獻和巨大影響，他在議會中實際上扮演著議長的角色。據(jù)此，甚至有些人認為麥迪遜在華盛頓政府中享有某些“特權(quán)”。但兩人的這種蜜月關(guān)系未能持續(xù)很久。

1794年9月15日，四十三歲的麥迪遜與二十六歲的寡婦多莉·佩恩·托德在西弗吉尼亞杰斐遜縣的海爾伍德舉行了婚禮。1797年定居于蒙彼利埃。多莉是個俏麗活潑、體態(tài)豐腴的美人，她喜歡著麗服、戴珠寶、出入大雅之堂，舉止優(yōu)雅大方，待人誠懇熱情，是社交界中的寵兒。她的個人魅力為麥迪遜的事業(yè)增色不少。鰥居的杰斐遜任總統(tǒng)期間，多莉還常常扮演白宮女主人的角色。麥迪遜當(dāng)總統(tǒng)后，多莉的風(fēng)采更是傾倒了整個華盛頓，人們認為：她是早期美國第一夫人中的佼佼者。

但是，漢密爾頓的聯(lián)邦主義與杰斐遜的民主原則很快就發(fā)生了沖突，并導(dǎo)致激烈的黨派之爭。麥迪遜的政治觀點原來就與杰斐遜相近，二人的私交也相當(dāng)好，很快就成為堅定的政治盟友。他們反對漢密爾頓的財政計劃，認為它會使大資產(chǎn)階級擁有特權(quán)從而控制政府，危害州和人民的權(quán)利。他們還認為：共和政府應(yīng)建立在人民的美德和農(nóng)業(yè)經(jīng)濟之上，政府的統(tǒng)治應(yīng)得到人民的同意。這種主張與漢密爾頓建立英國式政體的觀點大相徑庭，在此基礎(chǔ)上形成了美國最初的兩大政黨——共和黨和聯(lián)邦黨。麥迪遜成為共和黨的實際組織者。