聯(lián)邦政府建立后，馬歇爾的觀點與聯(lián)邦黨人十分相近，支持亞歷山大·漢密爾頓的一攬子經(jīng)濟計劃。但由于個人財務等問題，他沒有接受政府對他的一些重要任命。約翰·亞當斯總統(tǒng)任內，美法矛盾尖銳，亞當斯總統(tǒng)派馬歇爾參加一個赴法使團，試圖解決兩國分歧。馬歇爾接受了任命。但督政府外交部長塔列朗沒有與使團見面，而是派來幾個說客羞辱性地誘使美國人向法國行賄，而后才能進行談判。美國人拒絕了（但也有史學家通過研究認為，如果當時法國人同意談判期間停止在海上捕獲美國船只，美國人是同意行賄的）。馬歇爾以高傲的姿態(tài)回絕了法國人的索賄要求，然后憤而離境，其正義言行得到了國人的交口稱贊。

1799年，在帕特里克·亨利的大力支持下，馬歇爾當選為國會議員。在國會中，他是亞當斯總統(tǒng)最堅定的支持者之一，雖然他此時的某些主張與聯(lián)邦黨人不盡相同。

出任國務卿1800年6月，在友人的再三勸說之下，馬歇爾終于接受了亞當斯總統(tǒng)的任命，出任美國國務卿一職。此時，美法關系不斷惡化，法國私掠船不斷在公海上掠奪美國商船，以漢密爾頓為首的新英格蘭聯(lián)邦黨人主張對法宣戰(zhàn)。馬歇爾雖然具有親英傾向，但支持亞當斯總統(tǒng)繼續(xù)執(zhí)行中立政策，設法通過外交途徑解決爭端。1800年9月，美國派出新的外交使團赴法談判，簽訂了和約，宣布廢除1778年美法同盟條約，重申公海自由的原則，從而結束了一場一觸即發(fā)的戰(zhàn)爭危機。這一條約是美國孤立主義外交的體現(xiàn)，使美國遠離了歐洲的紛爭，但它卻造成了聯(lián)邦黨內部嚴重的分裂。馬歇爾還促成了與西班牙等歐洲國家的談判，以穩(wěn)定美國的對外貿易。這一條約也表明了法國對美國政策的轉變，即不再試圖控制美國，或利用美國對抗英國。

最高法院 掌門人 1801年初，馬歇爾受命出任聯(lián)邦最高法院首席法官。亞當斯之所以任命馬歇爾主要基于兩點考慮：第一，馬歇爾是一位堅定的聯(lián)邦主義者，具有很強的原則性；第二，馬歇爾是弗吉尼亞人，最高法院中應該有這個重要的州的代表。事實證明，這是亞當斯總統(tǒng)所做出的最重要的決策之一，馬歇爾對最高法院產生的影響是極其深遠的。馬歇爾扮演了最高法院 掌門人 的角色，以維護司法權的地位和尊嚴為己任。正是在馬歇爾任內，最高法院確立了眾多司法慣例，司法權的獨立地位得以確立。

亞當斯總統(tǒng)卸任前大力擴充下級聯(lián)邦司法機構，把許多聯(lián)邦黨人塞入政府部門。杰斐遜政府力圖通過制定《撤銷法》撤銷這些機構。馬歇爾認為這是對司法權的挑戰(zhàn)，于是他便利用 馬伯里訴麥迪遜案 來證明法院的權威。該案的內容是：被提名擔任已經(jīng)取消了法院職務的聯(lián)邦黨人要求法院下令，迫使國務卿麥迪遜頒布委任狀。最高法院的裁決是：馬伯里有權得到他的補償，但判給他補償不在最高法院的職權范圍內。該判決使最高法院獲得了極為重要的司法復審權。馬歇爾強調法律對契約和財產的保護，從而限制了政府對個人經(jīng)濟事務的介入。馬歇爾還使最高法院獲得了判定各項法律是否違憲和審理下級法院的決議等重要權力。他所堅持的聯(lián)邦權力高于州權的思想對后世具有深遠的影響力。在杰斐遜總統(tǒng)第2任期間，伯爾叛國事件敗露。在審判伯爾時，馬歇爾主張對憲法關于叛國罪的定義從嚴進行解釋，并親任審判長，最終以 證據(jù)不足 為由使伯爾無罪開釋。這是對杰斐遜政府的一次沉重打擊。

由于馬歇爾堅持他一貫主張的原則，敢于與聯(lián)邦政府公開抗爭，使他成為政府反對派人士心目中的英雄。馬歇爾在最高法院任職一直到他離開人世，他與行政權之間，特別是與杰斐遜、麥迪遜等總統(tǒng)的相互斗爭始終在持續(xù)著，并不時摩擦出火花。但有學者認為：正是這一矛盾斗爭使得美國的政治體制日益充實完善，在充分發(fā)揮聯(lián)邦政府職能作用的同時，有力地發(fā)揮司法權的限制和保護作用。

馬歇爾的活動范圍不僅僅限于司法領域，他在其他領域亦有所建樹。他編寫出版了《喬治·華盛頓生平》一書，在當時產生了轟動，但也有人指責他以歌頌華盛頓為名，宣揚聯(lián)邦黨人的觀點。

1835年7月6日，七十九歲高齡的約翰·馬歇爾在費城病逝 據(jù)說自由鐘恰在此時破裂，好像在為一位重量級人物的去世表示哀悼。