竇建德將他藏匿起來，隨后又幫孫安祖召集了二百多個壯士，讓他們到高雞泊一帶落草為寇。竇建德當(dāng)時的心態(tài)頗為矛盾——盡管他也知道隋王朝已經(jīng)失了人心，天下必將大亂，可他對自己在隋朝軍隊中的前程似乎還抱有幻想；盡管他可以不遺余力地幫助孫安祖去反叛隋王朝，可他自己仍然舍不得扔掉“二百人長”這塊雞肋。

最后，還是當(dāng)?shù)毓俑畮退铝诉@個決心。

本來竇建德窩藏孫安祖一事，當(dāng)?shù)毓俑呀?jīng)有所察覺，加之附近的張金稱、高士達(dá)等盜匪凡有洗劫，皆自動避開竇建德家所在的那條街，當(dāng)?shù)毓俑畵?jù)此認(rèn)定，竇建德必然與盜匪暗中勾結(jié)，于是發(fā)兵前去逮捕。碰巧那天竇建德不在家中，官兵為了泄憤，就把他的一家老小全都?xì)⒘恕?/p>

至此，萬念俱灰的竇建德終于脫下隋朝軍裝，帶著手下的二百名士兵投奔了高士達(dá)。他之所以沒有去找孫安祖，是因為他知道，一旦去了高雞泊，孫安祖必定會讓出首領(lǐng)的位置，而一向仗義的竇建德當(dāng)然不愿這么做，正所謂君子不奪人之美，所以他寧可去給高士達(dá)當(dāng)副手。

竇建德有意成全孫安祖，可惜孫安祖能力平平，不久就在與張金稱的火并中被殺，高雞泊的數(shù)千部眾群龍無首，旋即歸附竇建德。由于竇建德能夠禮賢下士，與普通士卒同甘共苦，所以人們都愿意為他效命，越來越多的人投到了他的麾下，部眾很快增至一萬多人，聲勢日漸壯大。

大業(yè)十二年（公元616年），隋軍前來討伐，高士達(dá)自知謀略不及竇建德，遂任命他為司馬，把部隊交由他全權(quán)指揮。竇建德不負(fù)眾望，用詐降的辦法大破隋軍，由此威望日盛。不久，隋將楊義臣討平張金稱，乘勝進(jìn)攻高士達(dá)。竇建德知楊義臣善用兵，勸高士達(dá)堅壁清野、避敵鋒芒，等敵疲累之時再發(fā)動進(jìn)攻。無奈高士達(dá)擔(dān)心竇建德威望太高會威脅他的地位，于是斷然拒絕他的建議，親自率部迎戰(zhàn)，結(jié)果兵敗被殺。竇建德率余眾突圍而去，隨后占據(jù)饒陽，招集逃散的部眾，于是聲勢復(fù)振，自立為將軍。

竇建德雖然是農(nóng)民出身，沒什么文化，但他卻很懂得尊重讀書人，所以每當(dāng)抓到隋朝的官吏士人，竇建德總是以禮相待，對于有才之人，更是將其奉為上賓。正所謂士為知己者死，這些隋朝的官吏士人在走投無路的時候得到竇建德的禮遇，無不感恩戴德，樂得為其所用。因此，竇建德麾下的將帥和智囊越來越多，其仁義之名也逐漸傳開，遠(yuǎn)近的隋朝將吏紛紛舉城歸附，部眾迅速發(fā)展到十萬余人。

大業(yè)十三年（公元617年），竇建德眼見時機(jī)成熟，遂建都樂壽（今河北獻(xiàn)縣），稱長樂王，同時四處出兵，擴(kuò)張地盤。武德元年（公元618年），竇建德改國號為夏，自稱夏王，同年大破幽州（今北京）魏刀兒的十萬之眾，盡得其地，從而雄踞河北。

唐武德二年（公元619年），宇文化及在東都被李密所敗，退保聊城。竇建德遂以討伐逆臣為名攻克聊城，擒殺了宇文化及。隨后，竇建德將宇文化及從江都擄掠而來的嬪妃宮女悉數(shù)遣散，而對于那些有才干的隋朝舊臣，如裴矩、何稠、虞世南、歐陽詢等人，竇建德一律予以重用。至于那些不愿為他效力，一心想投奔洛陽和長安的人，竇建德也概不強(qiáng)留，一律尊重個人意愿，不但送給他們盤纏，還派兵護(hù)送他們出境。

竇建德的所作所為使他廣泛贏得了人心。