彥謙早年就成為孤兒，不認(rèn)識(shí)自己的父親，被母親的兄長(zhǎng)收養(yǎng)。哥哥彥詢頗有鑒別能力，認(rèn)為彥謙天性聰明穎悟，每每對(duì)他感到驚奇，便親自教他讀書(shū)。七歲時(shí)，他已能背誦數(shù)萬(wàn)字的書(shū)籍，宗親們都感到很驚異。十五歲那年，過(guò)繼給叔父房子貞，侍奉繼父繼母像親生父母一樣。子貞憐愛(ài)他，對(duì)他撫養(yǎng)十分優(yōu)厚。繼母去世，他五天不吃不喝。對(duì)待伯父房豹，也盡心盡力。四季的時(shí)鮮果品，伯父沒(méi)有吃，自己就不敢先嘗。遇到喪葬，他必定蔬食素餐，恪守禮節(jié)，宗族們都效法他。以后受教于博士尹琳，手不釋卷，貫通了《五經(jīng)》。講解和寫(xiě)作，頗有口才和文才，風(fēng)度超過(guò)常人。

　　十八歲那年，齊廣寧王高孝珩為齊州刺史，征用他為主簿。當(dāng)時(shí)，綱紀(jì)松弛，州郡的官員大多放縱自為。彥謙到任后，清靜簡(jiǎn)潔，執(zhí)行法度，州境之內(nèi)，上下肅然，官吏百姓無(wú)不敬畏。北周的軍隊(duì)進(jìn)入鄴城，北齊君主向東逃跑，任彥謙為齊州中從事。彥謙痛惜本朝滅亡，準(zhǔn)備召集忠義之士，暗中密謀恢復(fù)舊業(yè)，事情沒(méi)有成功而停止。北齊滅亡，彥謙回到家里。周武帝宇文邕派柱國(guó)辛遵任齊州刺史，辛遵被盜賊首領(lǐng)輔帶劍捉獲。彥謙寫(xiě)信勸諭輔帶劍，帶劍畏懼慚愧，將辛遵送回齊州，各路盜賊都?xì)w順自首。隋文帝稱帝之后，房彥謙在鄉(xiāng)里悠閑自得，發(fā)誓再也不愿做官。開(kāi)皇七年(588)，刺史韋藝堅(jiān)持舉薦他，不得已他才答應(yīng)。吏部尚書(shū)盧愷一見(jiàn)面就很看重他，破格授予他承奉郎，不久調(diào)任監(jiān)察御史。后來(lái)南陳被平定，他奉命安撫泉州、括州等十州。因完成使命頗受文帝稱許，賞賜給他布帛一百匹，米一百石，衣服一套，奴婢七人。

　　又遷任秦州總管錄事參軍。朝臣上朝時(shí)，左仆射高赹決定考核官吏們的政績(jī)。房彥謙對(duì)高赹說(shuō)“；《書(shū)經(jīng)》上說(shuō)三年對(duì)官吏考核一次，以提拔優(yōu)異的，黜退庸劣者。唐堯、虞舜以后各代都有自己的法度，降免和提拔都能合理，表?yè)P(yáng)和批評(píng)都不缺少。于是，提拔一定能得到賢能的人，罷免的都是無(wú)才無(wú)德的小人。如果執(zhí)行謬誤，法規(guī)就等于虛設(shè)。看看各州的考核，執(zhí)行的情況各不相同，進(jìn)用和汰減的多少，數(shù)目都不一樣。更何況長(zhǎng)官對(duì)下級(jí)或愛(ài)或憎，任意憑感情用事，使得那些乖巧刁鉆的人仕途卻很平坦；清廉正派，孤傲耿直的，未必能夠高升；卑膝獻(xiàn)媚，刁鉆取巧者，反而居于上等。真假混淆，是非顛倒。達(dá)官顯要如不嚴(yán)格挑選，認(rèn)真取舍，那些被他們提拔任命的下級(jí)官吏，就會(huì)多數(shù)是靠蒙混投機(jī)獲得成功的；沒(méi)有經(jīng)過(guò)政府批準(zhǔn)的，都不知道自己不被選拔的原因。另外，天下四方距離遙遠(yuǎn)，很難做到詳細(xì)考核，惟有弄清人數(shù)，一半黜退，一半保留，只計(jì)算官員數(shù)量的多少，不要管他好壞的多少。想求得公允恰當(dāng)，實(shí)在沒(méi)有辦法。您洞察幽微，公平待物，現(xiàn)在所考核的，一定沒(méi)有受冤枉的。假如出現(xiàn)了前面說(shuō)的那幾件事，不知道您怎么處理？只希望您廣泛地布置耳目，認(rèn)真了解下面官吏的情況，表?yè)P(yáng)他們細(xì)小的成績(jī)，批評(píng)他們輕微的過(guò)失，不但是非曲直分明，大道得行，而且也足能夠獎(jiǎng)勵(lì)賢能清俊之士?！闭f(shuō)時(shí)語(yǔ)氣慷慨，引起旁觀者的注目。高赹也為之動(dòng)容，長(zhǎng)長(zhǎng)感嘆贊賞。因而詢問(wèn)他河西、隴右一帶官員的清形，彥謙聲音洪亮，對(duì)答如流。高赹對(duì)各州總管、刺史說(shuō)“：與你們談話，不如單獨(dú)同房彥謙談話?！币院髷?shù)日，高赹將彥謙的意見(jiàn)告訴給文帝，文帝竟沒(méi)有采納。

　　因在秦州任職期滿，他調(diào)任為長(zhǎng)葛縣令。很有惠政，百姓都稱他為慈父。仁壽年間，文帝命使臣持節(jié)巡行各州縣察看官吏能力的大小，認(rèn)為彥謙為天下第一，提拔他為都州司馬。長(zhǎng)葛縣的官吏百姓號(hào)啕大哭，互相訴說(shuō)：“房明府現(xiàn)在離去，我們還活個(gè)什么！”以后百姓們思念他，立碑歌頌他的功德。都州長(zhǎng)久沒(méi)有刺史，州中政務(wù)都?xì)w房彥謙管理，也同樣政績(jī)卓異。內(nèi)史侍郎薛道衡為一代文宗，名望清雅顯著，交結(jié)的都是海內(nèi)名人賢士。他十分看重房彥廉的為人，對(duì)彥謙極為友愛(ài)和敬重。道衡任襄州總管，與彥謙書(shū)信往來(lái)不斷，雙方的信使常常在路途上交錯(cuò)而過(guò)。煬帝繼位，道衡又轉(zhuǎn)任番州，途徑彥謙的住所，留連多日，最后灑淚而別。

　　黃門(mén)侍郎張衡也與房彥謙相友善。當(dāng)時(shí)，煬帝正大肆營(yíng)建東都洛陽(yáng)，宮殿都極其華麗，令天下人大失所望。再則，漢王楊諒反叛，被牽連獲罪的人很多。彥謙見(jiàn)張衡當(dāng)政而又不能匡救時(shí)弊，便寫(xiě)信告誡他，說(shuō)：

　　“我聽(tīng)說(shuō)獎(jiǎng)賞可以勸善，處罰可以懲惡。所以就是對(duì)于那些地位卑賤的人，有了善事也一定給予獎(jiǎng)賞；對(duì)于地位高，有才能的人，有了過(guò)錯(cuò)也一定要懲罰。不應(yīng)該懲罰避開(kāi)自己的親友，獎(jiǎng)賞遺漏了卑賤的人?，F(xiàn)在，國(guó)家恰好承受美好的命運(yùn)，天子有如百姓的父母，賞罰獎(jiǎng)懲，是非曲直，上天都可以知道，就是處在很遠(yuǎn)的地方，皇天也能夠照臨，所以，應(yīng)該謹(jǐn)慎嚴(yán)肅。

　　“至于并州的謀反事件，須要查清辨明。如果楊諒確實(shí)因?yàn)榛实鄣脑t命沒(méi)有傳達(dá)到他那里，他考慮到國(guó)家面臨危難，調(diào)集兵力，聚眾起事，并不算違犯朝廷法紀(jì)，則應(yīng)當(dāng)體諒他的本意，再討論對(duì)他的處罰。這樣，上可以符合圣上兄弟友愛(ài)的心意，下可以解除百姓們疑惑的念頭。

　　“圣人認(rèn)為最珍貴的東西，就是皇帝的寶座。如果上天不送給你，誰(shuí)都不能輕意得到。所以像蚩尤、項(xiàng)籍那樣驍勇善戰(zhàn)，伊尹、霍光那樣有權(quán)有勢(shì)，老子、孔子那樣才智絕倫，呂望、孫武那樣深諳兵術(shù)，吳、楚連結(jié)，有著磐石般的屏障，都沒(méi)有能夠取得帝位。更何況小小的一隅，有如蜜蜂翅膀的扇動(dòng)，螞蟻的聚集，楊諒的愚笨，群小們的兇惡，想進(jìn)犯京城輔地，真是妄想??！

　　“自開(kāi)天辟地以來(lái)，都有文字記載。帝王的言語(yǔ)行跡，后人可以詳細(xì)知曉。如果不積累道德和仁愛(ài)之心，為國(guó)家建豐功，為百姓謀厚利，誰(shuí)能夠使自己的威望讓天人共知，精神感動(dòng)神靈？所以，古代圣哲的帝王，黎明即起，操勞國(guó)事，兢兢業(yè)業(yè)，如履冰上，如懷抱朽爛，小心謹(jǐn)慎。亂世的帝王驕奢荒淫，無(wú)所畏懼，凌駕于萬(wàn)民之上，肆意放縱私欲，史書(shū)不可一一記載。

　　“您置身朝廷，天子以大權(quán)相托，早已把你看成心腹重臣。你既然身處政治清明之世，應(yīng)當(dāng)心存正直，為當(dāng)世立下重要的誡律，以作為后世的憲典。怎么能允許曲意順從天子，把仁愛(ài)之心變成刑罰之舉！”

　　張衡收到房彥謙的書(shū)信，感動(dòng)得長(zhǎng)長(zhǎng)地嘆息，又不敢奏給煬帝知道。

　　彥謙知道朝廷綱紀(jì)敗壞，便辭去官職，隱居林下。準(zhǔn)備在蒙山下建屋結(jié)廬，以遂退隱的志愿。恰逢朝廷設(shè)置司隸官，選取天下知名人士。朝廷認(rèn)為他公正端方，聲譽(yù)顯著，眾望所歸，因此，任命他為司隸刺史。他也慨然有澄清天下的志向，凡是他向朝廷舉薦的，都是人倫表率。如有彈劾，被糾察的人也毫無(wú)怨言。司隸別駕劉火乇欺上辱下，任意攻擊別人，卻自以為正直。刺史們都害怕他，見(jiàn)了他都恭恭敬敬下拜。惟有房彥謙對(duì)他不卑不亢，見(jiàn)面一揖而已。有見(jiàn)識(shí)的人都稱贊他，劉火乇也不惱恨他。

　　大業(yè)九年(613)，彥謙跟隨煬帝到遼東，負(fù)責(zé)監(jiān)察扶余道的軍事。后來(lái)，隋朝政治逐漸混亂，朝臣們大多改變節(jié)操。彥謙堅(jiān)守正道，有如平常，頗為執(zhí)政的權(quán)要嫉恨，將他調(diào)出京城，任涇陽(yáng)縣縣令，死在任上。

　　彥謙在家鄉(xiāng)居住時(shí)，子侄們來(lái)問(wèn)安，他常給他們講解處世的道理，督促勉勵(lì)他們一番。態(tài)度懇切勤勉，不知疲倦。家中有祖上留下的舊業(yè)，資產(chǎn)素來(lái)殷厚，加上他前后做官所得的俸祿，都用來(lái)接濟(jì)親戚朋友，所以家中沒(méi)有多余的錢(qián)財(cái)。他乘坐的車(chē)馬，穿戴的衣服，使用的家具，都務(wù)必簡(jiǎn)樸省儉。從少年到成年，一言一行，從不涉及私人的事情。雖然屢次導(dǎo)致錢(qián)囊羞澀，卻怡然自得。曾從容獨(dú)自發(fā)笑，對(duì)他的兒子房玄齡說(shuō)：“別人都因俸祿致富，我卻獨(dú)因做官而貧困。所留給子孫的，只有清白??！”他所寫(xiě)的文章，氣派宏大，風(fēng)格閑雅，有古人的深意。又擅長(zhǎng)寫(xiě)隸字，人們?nèi)绻艿玫剿臅?shū)信，都珍藏展玩。太原的王劭、北海的高構(gòu)、..縣的李綱、中山的郎茂、郎穎、河?xùn)|的柳..、薛孺，都是一時(shí)著名的高雅清俊人物，彥謙都與他們結(jié)交為友。他家里雖然高朋云集，冠蓋相望，而卻沒(méi)有一個(gè)行為卑下的客人。他舉止文雅，十分通達(dá)政務(wù)，有見(jiàn)識(shí)的人都用行為遠(yuǎn)大贊許他。

　　當(dāng)初，隋文帝平定南陳之后，天下歸為一統(tǒng)，論者都說(shuō)天下將要太平。彥謙卻私下里對(duì)他所親近的趙郡人李少通說(shuō)“：皇上性情疑忌峻刻，不采納別人的建議。太子懦弱平庸，諸王在各地擅作威福。朝廷只實(shí)行苛刻嚴(yán)酷的政治，沒(méi)有表現(xiàn)出恢宏遠(yuǎn)大的氣魄。天下雖然安定，我卻憂慮動(dòng)亂就要到來(lái)?！崩钌偻?tīng)了不以為然。等到仁壽和大業(yè)之際，他的話果然都被驗(yàn)證。