1560年，嚴嵩已有80歲。他的心力和身體都已衰弱，不能再像他從前那樣勤懇地侍奉皇帝。一些年來皇帝的多數(shù)敕令事實上是由他的兒子嚴世蕃草擬的，當他入值時，嚴世蕃陪伴著他。在嚴的妻子于1561年去世之后，他的兒子必須在家里伺候他，這是嚴能夠讓他的兒子避免離開北京去照料他母親葬禮的唯一辦法。這時戴孝的他的兒子不能再和他一道到皇城的西苑去侍奉皇帝。嚴這時甚至不能看懂皇帝的手詔；他為了回奏，必須把皇帝的詔令帶回家中給他的兒子。他的兒子常常喝醉或者干些其他放蕩的事，因而什么東西也不能及時準備。當皇帝派太監(jiān)去催要答復時，嚴不得不自己起草點什么，而他草擬的東西卻被發(fā)現(xiàn)原來是不合格的。繼續(xù)干這種工作，他的確是太老了；他畢竟不是道教的神仙，而是一個有病的老人。他容易受到責難，很快就倒了楣。

　　嚴嵩在內閣的副手大學士徐階，最初是夏言在朝廷上推薦的，夏言于1548年被嚴嵩處死。徐階和嚴嵩從來不和，在他于1552年成為大學士之后，他努力削弱嚴在皇帝面前的有利地位，反對他的政策，提出相反的建議，暗中指揮對嚴和他的代理人的彈劾活動。嚴懷疑徐以某種方式背地支持彈劾他的各種企圖，但他什么也不能證實。他有幾次試圖使徐被免職，但每次都失敗了。徐繼續(xù)在政策問題上向皇帝提出建議，他終于被允許籌辦不死藥和草藥，這項工作以前是只交給嚴嵩的。

　　皇帝從未完全信任嚴嵩。他有時會干脆不理或拒絕嚴的建議，以便行使他裁決事情的絕對權力。當嚴不能再侍奉他時，他開始尋找一個代替的人。徐階等待這個機會已有八年。他知道皇帝覺得嚴嵩已不再有用，知道他瞧不上嚴的兒子。無論什么時候，只要有可能他就加深皇帝的不滿。1562年，他親自照管1561年12月焚毀的皇帝寢宮的重建工程。嚴嵩反對重建這座宮，另外建議皇帝移居到上世紀50年代被廢黜的英宗皇帝實際上被當作囚徒時住過的另一座宮里去?；实劬芙^考慮這個建議。他的宮只不過四個月便復原，1562年6月，在他重新定居以后不到兩月時，嚴嵩便被免職。

　　在皇帝的知己和顧問陶仲文得病而于1559年從朝廷告退以后，他只好重新挑選一個道教名家來指導扶乩儀式。他的新的扶乩者最初只是焚化交給他的密封的問題，而皇帝很少能夠得到一個滿意的答復。這種情況不能繼續(xù)下去。扶乩者和送交包封的太監(jiān)開始在焚化包封之前閱讀所提的問題。他們因而能夠按照皇帝的意愿而占卜答案。

　　徐階和這個扶乩者聯(lián)合，開始攻擊嚴嵩。在嚴被免職之前不久，他是一連串扶乩所得答復中的話題。當皇帝按慣例詢問帝國為什么沒有治理好時，他被告知，那是因為好人沒被任用而不孝順的人沒有退職。問及誰孝順和忠誠，誰不孝順不忠誠時，他被告知，徐階忠誠而嚴嵩不忠誠。當這個答復隨后在別的占卜中得到證實時，皇帝變得非常不安。有關這件事的消息被一個太監(jiān)非正式地傳給了一個御史，這個御史立即彈劾了嚴嵩的兒子。當嚴試圖代他的兒子說情時，皇帝指責了他。很明顯，他已經(jīng)不再受寵，他于1562年6月被迫去職。

　　皇帝這時信任徐階。1560年，當陶仲文和陸炳在幾星期之內相繼去世時，皇帝失去了僅有的親密伙伴。他把陶當作同等的人對待，把陸炳（陸在1539年救過他的命）當作兄弟對待。嚴嵩走了。只有徐階仍然受寵。徐小心謹慎，不立即攻擊嚴嵩和他的黨羽；他反而顯得很和解。當1562年晚期接到彈劾胡宗憲的奏疏時，皇帝說胡不是嚴黨中人，而徐也沒有催逼這個問題。

　　他不能冒險批評皇帝。過去每一次貶黜嚴嵩的嘗試都因為上奏的人不能把他們的批評限制在嚴嵩身上而失敗了；他們常常也攻擊了皇帝的某些政策和決定。立太子的事已經(jīng)擱置了10多年，而皇帝不想討論這件事?？墒巧献嗟娜苏J為不得不聯(lián)系嚴嵩的罪惡而提出這個問題。皇帝有可能終于對上奏者非常生氣，以致他可能忽略他的奏疏的主旨，反而懲罰他。徐階記住了這一點。

　　1562年，嚴世蕃在他父親去職時，被謫戍瘴癘之地。他不前往他的戍地，反而回到他在江西的祖居，他在那里開始招募一支大的衛(wèi)隊。1564年9月，在皇帝生日的時候，嚴嵩進呈一篇如何召鶴（道教神仙的使者）的文字，同時請求允許他的兒子從戍地回來照顧他。這個請求被拒絕了。1564年12月，一個御史上奏說，嚴世蕃實際上住在江西，并且招募了4000多人。嚴世蕃和他的同伙被控謀反，被捕，并被帶到北京受審。

　　對嚴世蕃的最初的控告書，其中也指控他和幾個官員的死有牽連，這幾個官員是按照皇帝的命令被處決的。當有人把控告書的草稿給徐階看時，徐把有關謀反罪行的材料之外的一切事情都刪去了?；实哿⒓磁鷾柿伺袥Q。他長期以來就瞧不上嚴嵩的兒子。1565年4月，嚴世蕃被處死，他的父親被貶為平民，嚴家的財產(chǎn)被沒收。嚴嵩，一個在朝廷上無人可求的無家可歸的人，死于這一年的晚些時候。