開皇十五年（595）三月，仁壽宮終于修好了。當(dāng)時(shí)高颎不還是首席宰相嘛，隋文帝先派高颎去驗(yàn)收。高颎可是和隋文帝一起開創(chuàng)節(jié)儉型政府的人物，跟楊素的價(jià)值觀很不一樣，他一看這個(gè)宮殿如此豪華，馬上開始心疼國(guó)庫(kù)，心疼百姓了，回來(lái)之后如實(shí)匯報(bào)說(shuō)："頗傷綺麗，大損人丁"。

什么意思呢？建得倒是挺好，問題是好過頭了，損失了好多老百姓。隋文帝可是個(gè)節(jié)儉的好皇帝啊，一聽高颎這樣匯報(bào)，馬上心里"咯噔"一下，就有了一種先入為主的壞印象。

三月底，隋文帝終于抽出時(shí)間親自去視察了。這一視察，印象更壞了。為什么呀？因?yàn)樗谘赝揪吐牭揭恍┱f(shuō)法，說(shuō)楊素為了趕工期，把好多民夫都給累死了，有些人死后填了山谷，還有些干脆就地焚燒了事，這也太不愛惜民力了！所以，一到仁壽宮，隋文帝就怒氣沖沖地說(shuō)了一句："楊素竭百姓之力，雕飾離宮，為吾結(jié)怨于天下。"楊素這么干，不是給我招恨嗎？

這話傳到楊素耳朵里，可把他嚇壞了。本來(lái)是竭盡全力想討好皇帝，沒想到馬屁拍到馬腿上了。怎么辦呢？

這時(shí)候，有人就給楊素出主意了。誰(shuí)呢？楊素的侄女婿，也是仁壽宮的監(jiān)工--封德彝。封德彝對(duì)楊素說(shuō)：咱們皇帝聽皇后的，現(xiàn)在既然皇帝對(duì)你有成見，你不如先跟皇后溝通一下，只要皇后認(rèn)可，皇帝肯定不會(huì)責(zé)備你，沒準(zhǔn)還有賞賜呢。

楊素一聽，有道理，趕緊悄悄地找到獨(dú)孤皇后，對(duì)她說(shuō)："帝王法有離宮別館，今天下太平，造此一宮，何足損費(fèi)！"帝王按道理講，就應(yīng)該是近離宮別官的，現(xiàn)在天下如此太平，我就幫皇帝修這么一座離宮，這有什么不可以的呢？花的那點(diǎn)錢算什么啊？這一句天下太平把獨(dú)孤皇后給打動(dòng)了。是啊，我們以前克勤克儉，不就是為了能夠天下太平嗎？現(xiàn)在既然已經(jīng)天下太平了，干嘛還要一直當(dāng)苦行僧呢！

第二天一早，隋文帝召見楊素。楊素還是有點(diǎn)緊張，磨蹭了好半天才去。進(jìn)入宮中，孤獨(dú)皇后說(shuō)："公知吾夫婦老，無(wú)以自?shī)?，盛飾此宮，豈非忠孝！"楊素知道我們夫妻年紀(jì)大了，也沒別的愛好了，所以給我們修了一座好房子，讓我們也享受享受，是個(gè)忠孝之臣?。∷逦牡垡宦?，也面帶喜色，連連點(diǎn)頭。就這樣，楊素靡費(fèi)資財(cái)，草菅人命，不僅沒有受到懲罰，反倒賜錢百萬(wàn)，賜絹三千段。