在他同僚眼中，余子俊近年來(lái)出了太多的風(fēng)頭，可謂青云直上。當(dāng)然，在對(duì)他指責(zé)的同僚中，有些人的意見(jiàn)的確中肯，建設(shè)長(zhǎng)城有利有弊，利的一方面已經(jīng)得到驗(yàn)證，但弊端也不可輕視，那就是征集民工和錢財(cái)上面，倘若沒(méi)有余子俊這樣高尚風(fēng)格一心為公的人以身作則親自督促，這樣的工程無(wú)疑是得不償失的。

朝廷中開(kāi)始流言蜚語(yǔ)，有人認(rèn)為余子俊所以屢提建設(shè)長(zhǎng)城的工程，是因?yàn)橄霃闹蝎@取暴利，也有人說(shuō)，余子俊是在用國(guó)家的錢為自己博得民心與名聲。

這樣的議論越來(lái)越多，最后便發(fā)展成書(shū)面材料擺在了憲宗皇帝的面前。憲宗皇帝看了所有的材料和聽(tīng)了許多流言后，對(duì)余子俊突然深惡痛絕起來(lái)。就在這個(gè)時(shí)候，一個(gè)叫韋敬的宦官站了出來(lái)。他向憲宗皇帝進(jìn)讒言，說(shuō)余子俊"假修邊多侵耗"，又說(shuō)他"私恩怨，易將帥"。由于史料缺乏，我們不得而知韋敬的來(lái)歷和他為什么要扔石頭砸已經(jīng)落在井中的余子俊的原因?；蛟S是他收了那些嫉恨余子俊朝臣的錢，又或許是，在皇帝身邊總要曲意逢迎，他見(jiàn)到憲宗皇帝已經(jīng)不喜歡余子俊，就落井下石，給憲宗懲治余子俊在心理上一個(gè)安慰與支持。

總之，他的確向余子俊扔出了一塊足以讓余子俊停止呼吸的石頭。憲宗皇帝令工部侍郎杜謙調(diào)查余子俊。杜謙的品德可圈可點(diǎn)，并且很有見(jiàn)識(shí)，他認(rèn)為余子俊不會(huì)有這么多道德瑕疵與違紀(jì)行為。在調(diào)查多日后，他交給了憲宗皇帝一份報(bào)告。報(bào)告中指出了韋敬扔的那兩塊石頭純粹就是誣陷。第一：余子俊的確有易置邊將的行為，但卻不是個(gè)人恩怨；第二：余子俊對(duì)修筑長(zhǎng)城的費(fèi)用分文未入私囊。

不過(guò)，杜謙雖然給余子俊還清白，卻不能不給余子俊以罪名，那就是他征集的工程費(fèi)用和糧食都大大超出了皇帝的仁人愛(ài)物之心，所以，有罪。

憲宗皇帝雖然沒(méi)有捉到余子俊的那兩個(gè)罪名，但這個(gè)罪名就足以讓他有理由治余子俊的罪。他勒令余子俊退休?？梢?jiàn)，余子俊之所以被驅(qū)逐出朝廷，就是因?yàn)轫f敬的那塊石頭。

如果不是韋敬的那塊石頭，憲宗皇帝不會(huì)下令追查此事。那么，余子俊征集工程費(fèi)與糧食超標(biāo)的問(wèn)題也不會(huì)暴露在光天化日之下。韋敬落井下石的誣陷所以能取得效果，是因?yàn)楦嘧涌〉墓ぷ饔嘘P(guān)。余子俊為大明帝國(guó)修筑長(zhǎng)城，以鞏固國(guó)防，在一些人眼中，這樣的工作是大有可賺的。而余子俊在工作過(guò)程中為了完成工作難免要有些小瑕疵，這樣的小瑕疵在誣陷者的眼中就很容易被放大成為劣跡斑斑。但余子俊又不是那種避嫌而放棄為國(guó)效力的人，所以，他的被誣陷也就不可避免了。