但是，這次葬禮恐怕也是楊素在隋文帝一朝得寵的巔峰了。因為就在此后不久，楊素在隋文帝心目中的地位就下降了。為什么呢？有人彈劾他了。誰呢？大理卿梁毗。

就在仁壽二年（602），梁毗上書隋文帝，說：

臣聞臣無有作威福。臣之作威福，其害乎而家，兇乎而國。竊見左仆射、越國公素，幸遇愈重，權(quán)勢日隆，?

紳之徒，屬其視聽。忤意者嚴霜夏零，阿旨者膏雨冬澍，榮枯由其唇吻，廢興候其指麾。所私皆非忠讜，所進咸是親戚，子弟布列，兼州連縣。天下無事，容息異圖，四海稍虞，必為禍始。夫奸臣擅命，有漸而來。王莽資之于積年，桓玄基之于易世，而卒殄漢祀，終傾晉祚。季孫專魯，田氏篡齊，皆載典誥，非臣臆說。陛下若以素為阿衡，臣恐其心未必伊尹也。伏愿揆鑒古今，量為外置，俾洪基永固，率土幸甚。輕犯天顏，伏聽斧锧。

什么意思呢？梁毗講，我聽說臣子，是不允許作威作福的，如果一個國家，允許臣子作威作福的話，那么必定天下大亂。現(xiàn)在我們國家，有沒有哪個大臣作威作福呢？有啊，就是越國公尚書左仆射楊素，他倚仗陛下的寵幸，權(quán)力已經(jīng)大得沒邊了，所有的官員都要看他的臉色辦事。如果他喜歡的人，對人家像春天般溫暖；他不喜歡的人，就像秋風(fēng)掃落葉一樣無情。所以我們整個官僚系統(tǒng)，從現(xiàn)在都是受他的指揮。因此我覺得，這樣下去，有一天他會走上奸臣、權(quán)臣的道路。希望陛下能夠預(yù)先留心到這一點，鑒古知今，不要再給他這么大的權(quán)力，我知道我這話不中聽，說出來也許您不喜歡，但是為了國家利益，我萬死不辭。這是梁毗的這一番高論。

要知道，當(dāng)時楊素可是炙手可熱的人物，首席宰相，梁毗這樣說，不是找死嗎？果然，隋文帝大怒，馬上把他抓了起來，親自質(zhì)問他，怎么可以如此誹謗大臣。

沒想到，梁毗毫不畏懼，當(dāng)面對隋文帝說：

素既擅權(quán)寵，作威作福，將領(lǐng)之處，殺戮無道。又太子及蜀王罪廢之日，百僚無不震悚，惟素揚眉奮肘，喜見容色，利國家有事以為身幸。

你審我嗎？我不怕你審，我這些意見就是要當(dāng)面跟你說出來的，我確確實實認為楊素是一個作威作福之人。我有充分的證據(jù)，證據(jù)是什么？陛下，請您想一想，當(dāng)年您廢掉太子楊勇和蜀王楊秀的時候，我們這些大臣，誰不是覺得陛下家里出了這么大的事情，是一件非常讓人震驚、讓人恐慌、讓人難過的事？可是唯獨他越國公楊素，表現(xiàn)得是一副揚眉吐氣、很得意的樣子啊。為什么啊？他是盼著國家有事，好抬升他自己的地位啊？陛下，這難道是一個忠臣應(yīng)有的行為嗎？梁毗這一點，說得太厲害了。

這番話一說出來，隋文帝真是傻在那里了。確實，此前隋文帝一直覺得楊素是在忠實地執(zhí)行著自己的命令，替自己把兩個不肖子都除掉了，所以才把楊素視為心腹重臣。如果按照梁毗的說法，楊素有個人野心蘊涵在里頭，那自己豈不是成了給楊素做嫁衣裳嗎？這讓隋文帝不寒而栗。