出身貴族

楊素弘農楊氏之后，先祖世代為官，祖父楊暄，官至北魏輔國將軍、諫議大夫。父親楊敷，為北周汾州刺史。楊素小時候窮困失意，不拘小節，有遠大的志向。時人都不理解他，只有他的堂叔祖、魏朝的尚書仆射楊寬認為他很不一般，常對子孫說：“處道不是一般的人，他日一定出類拔萃，無與倫比，不是你們趕得上的。”楊素后來和安定人牛弘志同道合，他們勤奮好學，研究探討精心專誠，從不感到疲倦，因而很多方面都精通或者涉獵。

后與安定人牛弘（后任隋朝禮部、吏部尚書）同窗共讀，知識淵博，在文學、書法上均有造詣，史書稱其“研精不倦，多所通涉。善屬文，工草隸，頗留意于風角。美須髯，有英杰之表”。當時北周大冢宰宇文護把持朝政，引其為中外記室，后轉禮曹，加大都督。

公元572年（北周天和七年）三月，北周武帝宇文邕誅殺宇文護親掌朝政，楊素因曾受到宇文護的重用，所以遭到株連。此時，楊素以其父楊敷死于北齊，但未受朝廷追封，便上表申訴。周武帝不理。楊素再三上表，周武帝大怒，下令殺楊素。

楊素高聲地說：“我給無道的天子做事，死是應該的。”周武帝聞后，對楊素刮目相看，赦其無罪，并追贈其父為大將軍，謚忠壯。拜楊素為車騎大將軍、儀同三司，并逐漸對其有了好感。周武帝又令楊素起草詔書，素下筆成章，文詞華麗，周武帝贊揚道：“好好努力，不愁日后沒有榮華富貴。”而楊素卻回答說：“臣只怕富貴來逼臣，臣卻無心謀取富貴。”

破齊立功

公元575年（北周建德四年）七月，周武帝率軍攻北齊，楊素請求率其父舊部為先鋒，周武帝應允了他，并且賜給他一條竹鞭，說：“我正要驅使天下，所以把這件東西賜給你。”楊素跟隨齊王宇文憲在河陰和齊人交戰，因戰功被封為清河縣子，食邑五百戶。同年授司城大夫。

公元576年（北周建德五年）十月，楊素再次隨宇文憲攻北齊，克晉州（治白馬城今山西臨汾境）。宇文憲屯兵棲原，北齊帝高緯率諸軍自晉陽（今山西太原）向晉州進發。宇文憲聞北齊軍主力至，大懼，乘夜而逃，結果為北齊軍追上，北周軍多被擊潰。楊素與驍將十余人盡力苦戰，宇文憲方得以解圍。此后，楊素更是屢立戰功。北齊滅亡后，楊素加上開府，改封成安縣公，邑千五百戶，賜以粟帛、奴婢、雜畜。

公元577年（北周建德六年）十月，陳宣帝陳頊聞北周滅北齊，即乘機爭奪淮北地區，遂派名將吳明徹率軍北伐。吳明徹軍至北周呂梁（今江蘇徐州東南），擊敗徐州總管梁士彥，進圍彭城（今江蘇徐州）。

公元578年（北周建德七年）二月，楊素隨上大將軍王軌前去救援，最終大破陳軍，俘主將吳明徹。楊素遂治東楚州事。其弟楊慎被封為義安侯。陳將樊毅筑城于泗口，楊素將其擊走之，并將所筑之城全部毀壞。

公元578年（北周宣政元年）六月，周武帝去世，周宣帝繼位。宣帝即位后，楊素襲父爵臨貞縣公，并以其弟楊約為安成公。

公元579年（北周大象元年），楊素隨上柱國韋孝寬攻陳淮南（泛指今淮河以南地區），其中楊素率軍攻克盱眙（今江蘇盱眙東北）、鐘離（今安徽鳳陽東北）。

投靠楊堅

公元580年（北周大象二年）五月十一日，北周宣帝宇文赟病死。周靜帝宇文衍年幼，左丞相楊堅專政。楊素知楊堅甚得眾心，且有稱帝之意，遂主動投到楊堅門下，與其深自結納。楊堅也知楊素之才，對其也非常器重，不久便以楊素為汴州刺史。

楊素在上任途中行至洛陽時，方知相州（治鄴城）總管尉遲迥等舉兵反楊堅。尉遲迥原為北周文帝宇文泰的外甥，位望素重，楊堅恐其有異圖，遂以會葬宣帝為名，詔使其子尉遲敦召尉遲迥入朝；并以韋孝寬為相州總管赴鄴（今河北臨漳西南）取代尉遲迥。六月，尉遲迥恐楊堅專權對北周不利，公開起兵反對楊堅。滎州刺史宇文胄據武牢以應尉遲迥，使楊素無法前行。

七月十日，楊堅調發關中兵，令韋孝寬為行軍元帥，楊素與郕公梁士彥、樂安公元諧、化政公宇文忻、濮陽公宇文述、武鄉公崔弘度、隴西公李詢等皆為行軍總管，率軍討伐尉遲迥。旋拜大將軍，領河內兵攻打宇文胄，破斬之。遷徐州總管，進位柱國，封清河郡公，邑二千戶。其弟楊岳也被封為臨貞公。

公元581年（北周大定元年）二月，大丞相楊堅受禪登基，改元開皇，是為隋文帝，并加楊素上柱國。并參與了隋朝法律的修定。

公元584 年（開皇四年），拜御史大夫。由于其妻鄭氏是個悍婦，楊素一次與其吵架說了一句：“我如果當了天子，你一定不能作皇后。”。結果被其妻告發，楊素因此獲罪，并被免官。此次經歷，險些毀了楊素的前途。好在隋文帝一直準備滅亡陳朝，統一中國，楊素曾數次獻伐陳之策，此次被免官后，楊素并沒有閑著，再次獻伐陳之策。

公元585年（開皇五年）十月，楊素任信州總管，經略長江上游，并賜錢百萬、錦千段、馬二百匹而遣之。

南下滅陳

公元587年（開皇七年），楊素與尚書左仆射高颎、吳州總管賀若弼、光州刺史高勱、虢州刺史崔仲方等人獻平陳之策。楊素在永安，（巴東郡，今重慶市奉節縣東） 建造“五牙”（上起樓五層，高百余尺；左右前后置六拍竿，并高五十尺，容戰士八百人）、“黃龍”等戰船，加強水師，作滅陳準備。并故意在江中漂下造船廢料，以威懾擅長水戰的陳軍。

公元588年（開皇八年）三月，隋文帝下詔，列舉陳后主罪行又送璽書暴其罪惡20條，并將詔書在江南散發30萬份，以爭取人心。十月，楊堅在壽春（今安徽壽縣）設淮南行臺省，以晉王楊廣為行臺尚書令，主管滅陳之事。楊素與楊廣、秦王楊俊并為行軍元帥，高颎為晉王元帥長史，右仆射王韶為司馬，集中水陸軍五十一萬八千人，統由楊廣統帥，東至大海，西到巴、蜀，旌旗舟楫，橫亙數千里。隋軍自長江上游至下游分為8路攻陳，其中楊素指揮水軍主力，出巴東郡，順流東下，負責消滅長江及沿岸陳水陸軍。十一月，楊堅至定城（今陜西華陰東）誓師，準備渡江的各路隋軍進抵長江北岸，完成進攻準備。

十二月上旬，楊素按隋滅陳作戰部署，首先率舟師自巴東郡東下三峽，在長江上游發起攻勢作戰。軍至流頭灘（又名虎頭灘，今湖北宜昌西北），陳將戚昕率青龍戰船百余艘、戰士數千人堅守前方狼尾灘（今湖北宜昌西北長江中），以遏隋軍。狼尾灘地勢險峭，水流湍急，易守難攻，將領們都憂心忡忡。

楊素認為：“成敗在此一舉。如果我們白天乘船而下，他們就會看見我們，灘險水急，天制不由人力，那么我們就失去了有利的條件。”。于是決定采用水陸協同，分進合擊的方針，乘夜突襲，將其擊敗。楊素率黃龍戰船數千艘，利用夜暗，令將士銜枚開進，實施正面突破；令開府儀同三司王長襲率步兵由長江南岸攻擊戚昕別柵；令大將軍劉仁恩率甲騎自江陵（今屬湖北）西進，沿長江北岸進擊陳軍白沙（今宜昌東）要點。隋軍水陸配合，于次日拂曉，一舉擊敗戚聽所部。戚聽逃走，部屬全部被俘。楊素對俘虜不殺不辱，慰勞后全部釋放。秋毫不犯，陳國人非常高興。此戰，楊素恰當選擇進攻時機，以水軍突襲與兩岸步、騎兵協同攻擊，速戰速決，取得首戰勝利，為滅陳戰爭發展創造了有利條件。實行優待俘虜政策，有利于爭取更多的陳軍將士。

楊素率領水軍繼續東下，大小戰船鋪滿了整了江面，旌旗盔甲在陽光下鮮艷耀眼。楊素端坐在平乘大船之上，容貌體魄雄健魁偉，陳國人望而生畏，都說：“清河公就是長江之神啊！”

陳荊州刺史陳慧紀派南康內史呂忠肅率軍屯守歧亭（今長江西陵峽口），在兩岸巖石上鑿孔，系三條鐵索橫截江面，阻遏隋軍戰船。為固守峽口，呂忠肅將自己私產全部捐出充軍，所以陳軍斗志頗高，防御也很嚴密。

公元589年（開皇九年）正月，楊素分兵一部與大將軍劉仁恩軍相配合，猛攻陳軍岸上柵障營壘，呂忠肅率軍據險抵抗，激戰四十余次，隋軍傷亡慘重，死五千余人。陳軍盡割死者之鼻以邀功求賞，激起隋軍憤怒，拚死力戰，多次獲勝。所俘陳軍將士，楊素則全部釋放。在隋軍猛烈攻擊下，呂忠肅被迫放棄營柵，連夜逃走。楊素令士卒毀掉欄江鐵索，繼續沿江而下。

呂忠肅退據荊門之延洲（今湖北枝江附近長江中），依恃荊門山險要地形，再次阻遏隋軍。楊素派善于駕舟的巴延士卒一千人，乘“五牙”戰艦4艘，用艦上拍竿擊碎陳戰船10余艘，俘二千余人，再次大破呂忠肅軍，呂忠肅只身逃走。駐守江南岸安蜀城（今湖北宜都西北長江南岸）的陳信州刺史顧覺，也棄城逃走。屯守公安（今湖北公安西北）的陳慧紀見形勢不利，燒掉儲蓄，率軍3萬、戰船千余艘，順流東撤，企圖入援建康（今南京市），被秦王楊俊軍阻于漢口（今湖北漢水入長江之處）以西。巴陵以東，無敢守者。陳湘州刺史，岳陽王陳叔慎亦降于楊素。此戰，楊素、劉仁恩以水軍、步兵相配合，先擊破陳軍江岸據點，再以水軍戰船接舷戰，大破敵軍。隋大型戰艦“五牙”及重型拍竿裝備在作戰中顯示了威力。優俘政策對瓦解陳軍、配合軍事進攻，具有積極作用。至此，長江上游為隋軍所控制，阻止了上游陳軍的東援，保障了下游主力的渡江作戰。

隋軍在長江上游作戰獲勝后，楊素一面率主力沿江東下，與秦王楊俊會師于漢口（時下游隋軍已攻占建康），一面派兵南下略地，擴大戰果。二月初又派薛胄、劉仁恩率軍進擊湘州。隋軍一舉擊敗出城迎戰的陳湘州助防遂興侯陳正理和樊通軍，薛胄等乘勝入城，俘陳叔慎。劉仁思軍再破鄔居業于橫橋（今湖南常德），擒鄔居業等。湘州等地的平定，為隋進軍嶺南準備了前進基地。

還軍，楊素因戰功卓著被進爵郢國公，邑三千戶，真食長壽縣千戶。以其子楊玄感為儀同，楊玄獎為清河郡公。賜物萬段，粟萬石，加以金寶，又賜陳主妹及女妓十四人。楊素又上言：“鄉里名叫‘勝母’，孝子曾子就不進去；叛逆之人王誼，以前曾分封于郢地，臣不想和他一樣。”于是改封越國公。同年六月，拜納言之職位；公元590年（開皇十年）七月，轉內史令。

江南自東晉以來，世家士族一直欺壓寒門庶族。隋滅陳統一中國后，南方士族豪強因對隋實行的限制政策不滿，便利用民間對隋欲移民關中流言的驚恐心理，乘機煽動叛亂。十年十一月，婺州（治今浙江金華）汪文進、越州（治今浙江紹興）高智慧、蘇州沈玄儈等均舉兵反隋，自稱天子，署置百官。蔣山（今南京鐘山）李忮、樂安（今浙江仙居西）蔡道人、溫州沈孝徹、泉州（治今福州）王國慶等，都自稱大都督，起兵攻陷州縣，反亂大抵遍及原陳屬地。其規模大者數萬人，小者數千人，互相呼應，殘殺隋朝官吏。面對如此嚴峻的形式，隋文帝遂命楊素為行軍總管率軍平叛。

楊素率軍由楊子津（今江蘇揚州南）渡江，首先擊破叛軍朱莫問（自稱南徐州刺史）于京口（今江蘇鎮江）。繼而擊敗晉陵（今江蘇常州）顧世興，顧世興率其都督鮑遷等再戰，楊素擊破之，俘鮑遷以下三千余人。又進擊無錫葉略，平之。時沈玄儈、沈杰等等正圍攻蘇州，刺史皇甫績屢戰不利，楊素軍趕到將其擊敗，沈玄儈逃至南沙人陸孟孫處，楊素進擊陸孟孫于松江，大破之，生擒陸孟孫、沈玄儈。黟、歙叛軍沈雪、沈能據柵自守，又攻拔之。

高智慧（自稱東揚州刺史）率部據守浙江（今錢塘江）東岸營壘，屯據要害，周圍百余里，船艦千艘，遮蓋江面，鼓噪而進。子總管來護兒建議：“吳人累銳，利于在舟楫作戰。必死的賊寇，難與爭鋒。您暫且嚴陣以待，切勿與其交鋒，請借我奇兵數千，悄悄渡過江，攻破他們的巢穴，讓他們退無所歸，進不得戰，這是韓信破趙的計策。”楊素納其言，并命其率輕型戰船數百艘，偷渡浙江，以奇兵突襲，并焚燒高智慧后方營壘，使其恐懼不安；楊素則乘機率軍從正面突擊，大敗高智慧軍。爾后，楊素派行軍總管史萬歲率軍二千人進攻婺州，自率主力由海道追擊逃入海中的高智慧，直趨溫州。高智慧來戰，楊素將其擊敗，俘數千人。而后又平定蔡道人、汪文進。楊素在溫州擊敗沈孝徹后，便由陸路轉向天臺、臨海（今屬浙江），繼續追擊反隋散兵，前后戰斗達一百多次。高智慧退守閩、越。

此時隋文帝考慮到隋軍長時間征戰，便詔令楊素入朝。同時加其子楊玄感為上開府，賜彩物三千段。而楊素則認為：“賊寇的余部尚未殄滅，恐怕會成為后患。”便上書請求暫緩返京，繼續剿匪。隋文帝對楊素此舉非常贊賞，便下詔說：“朕憂勞百姓，日旰忘食，一物失所，情深納隍。江外狂狡，妄構妖逆，雖經殄除，民未安堵。猶有賊首兇魁，逃亡山洞，恐其聚結，重擾蒼生。內史令、上柱國、越國公素，識達古今，經謀長遠，比曾推轂，舊著威名，宜任以大兵，總為元帥，宣布朝風，振揚威武，擒剪叛亡，慰勞黎庶。軍民事務，一以委之”。楊素繼續率軍由會稽（今浙江紹興）走海道向泉州追擊。

剿平匪患

當時泉州人王國慶為南安豪族，殺刺史劉弘，據州為亂，各處逃亡的叛軍皆附于他。王國慶自以為海路險阻，而隋軍多為北方人，不習海戰，遂不設防。楊素率水師從海道掩至，王國慶大驚，棄州逃跑，其眾或入海島，或守溪洞。于是楊素分遣諸將，水、陸分進追捕。并派人密勸王國慶：“你的罪狀，累計起來處以死刑還不夠。只有斬送高智慧，才可以抵塞罪責。”王國慶遂抓獲高智慧，送交隋軍，楊素將其斬首，余眾全部投降，至此，江南全部平定。此戰，楊素辭謝回朝休養詔令，堅持除惡務盡，連續追殲徹底平定江南之亂，對鞏固隋朝統一，發展生產具有積極作用。隋文帝派左領軍將軍獨孤陀迎至浚儀犒勞隋軍，待回京后，問者日至。隋文帝再封楊玄獎為儀同，賜黃金四十斤，加銀瓶，實以金錢，縑三千段，馬二百匹，羊二千口，公田百頃，宅一區。

公元592年（開皇十二年）十二月，楊素代蘇威為尚書右仆射，與尚書左仆射高颎同掌朝政。

楊素性疏而辯，朝臣之中，頗推高颎，尊敬牛弘，厚接薛道衡，蔑視蘇威。其余的大臣，只要與他有過節的人，楊素肯定會百般為難。其才藝風調，優于高颎，至于治理國家，則遠不及高颎。

公元593年（開皇十三年）二月，隋文帝在岐州之北建仁壽宮，令楊素監造。楊素奏請萊州刺史宇文愷檢校將作大匠，記室封德彝為土木監。楊素為鞏固其政治利益，討好隋文帝，遂“夷山堙谷以立宮殿，崇臺累榭，宛轉相屬”。又“役使嚴急，丁夫多死，疲屯顛仆，推填坑坎，覆以土石，因而筑為平地。死者以萬數”。

公元595年（開皇十五年）三月，仁壽宮建成，隋文帝至仁壽宮。時值天熱，“役夫死者相次于道，楊素悉焚除之”。其殘暴程度令人發指。此前隋文帝先派高颎前去視察，高颎據實回報：“頗傷綺麗，大損人丁”，隋文帝心中不悅。待隋文帝至仁壽宮，見宮殿如此奢華，大怒道：“楊素殫民力為離宮，為吾結怨天下。”楊素惶恐無比，擔心受責備，一時束手無策，便向封德彝請教。封德彝為人邪辟，多陰謀，便對楊素說：“公勿憂，俟皇后至，必有恩詔。”楊素即于北門拜見獨孤皇后說：“帝王理當有一些行宮、別墅，現在天下太平，我們僅僅修造了這么一座宮殿，哪里就談得上浪費了呢！” 次日，隋文帝果召楊素問之，獨孤皇后則在傍為楊素辨解：“楊公知道我們夫婦年老，沒有地方娛樂，盛飾此宮，難道不是忠孝嗎？”結果楊素不但沒有獲罪，反而被賜錢百萬，錦絹三千段。從此，楊素更得隋文帝的信任。而楊素則恃財凌物，對眾人多有凌侮，唯獨重賞了幫其大忙的封德彝。封德彝從此成為楊素的心腹，楊素常與其議論宰相職務，終日忘倦，還撫其床說：“封郎必當據吾此座。”封德彝在楊素的推薦下，被隋文帝擢升為內史舍人。

大破突厥

自開皇初年起，隋采納長孫晟之謀，一直對突厥施用離間計，使其內部長期混戰不休。公元597年（開皇十七年），隋文帝允許都蘭可汗之弟突利可汗娶隋安義公主為妻，并故意予以優厚禮遇，借以離間都蘭可汗。都蘭可汗果被激怒，乃斷絕朝貢，多次騷擾隋邊。

公元599年（開皇十九年，《隋書·楊素列傳》記載為十八年，有誤）二月，突利可汗奏報都蘭可汗制造攻城器械，準備攻擊大同城（在今內蒙烏拉特前旗東北）。隋文帝命漢王楊諒為元帥（實際未親臨前線），以楊素出靈州（治回樂，今寧夏靈武西南），尚書左仆射高颎出朔州（治善陽，今山西朔縣），上柱國燕榮出幽州（治薊縣，今北京城西南），三路進擊突厥。

都蘭可汗得知隋軍來攻，與達頭可汗結盟，合兵掩擊突利可汗。四月，楊素軍在靈州以北地區與達頭可汗部遭遇。在此之前，隋將在與突厥交戰時，因擔心突厥彪悍的騎兵來往沖殺，都采用戰車、騎兵和步兵相互交叉配合的陣法，陣外四周遍設鹿角、蒺藜等物，騎兵留在最里面。楊素認為：“這只是鞏固防御的途徑，而不是奪取勝利的方法。”于是拋棄這種自我保守的落后陣法，改變戰術，下令各軍擺開騎兵陣勢。

達頭可汗聞之大喜道：“這是天助我！”并下馬仰天而拜，即率十余萬精騎直撲隋軍。上儀同三司周羅睺看到突厥求勝心切，陣形不整，乃請令率精騎迎擊，楊素指揮大軍隨后繼進，大敗突厥，達頭可汗帶著重傷逃跑，其眾死傷不可勝數，號哭而去。另一路隋軍在高颎的率領下，也大破突厥，都蘭可汗敗逃，后被其部下所殺。隋軍追過白道（內蒙呼和浩特西北），越過秦山（今內蒙大青山）700余里，然后還師。十月，隋冊封突利可汗為啟民可汗，并令長孫晟率五萬人在朔州西北筑大利城（今內蒙古和林格爾西北土城子）給啟民可汗駐守，令其招撫突厥其它部落，為分化瓦解突厥，促進民族融合起了重要作用。

楊素在此戰中，敢于棄陳舊落后的車、騎、步互相衛護的保守陣法，大膽使用騎兵突擊，取得大勝，再一次顯了其杰出的軍事才能。戰后，隋文帝下詔褒獎，賜楊素縑二萬匹，及萬釘寶帶。加其子楊玄感位大將軍，楊玄獎、楊玄縱、楊積善皆為上儀同。

楊素很有隨機應變的謀略，總是把握好時機去同敵人作戰，他應對情況的變化并不拘泥于一定的方法，而控制軍隊嚴厲有序，如果有誰違犯了軍令，他就立即斬首，沒有寬容的。同時治軍嚴整，其部如有違犯軍令者，立斬不赦，而絕不寬容。每次作戰前都尋找士兵的過失，然后殺之。每次多者百余人，少也不下十幾人。由于殺人過多，以至“流血盈前”，而楊素卻言笑自若。兩軍對陣時，楊素先令一二百人前去迎敵，若取勝也就罷了，如不勝而敗逃者，無論多少，全部斬首。然后再令二三百人迎敵，不勝則照殺不誤。所以楊素的部下對他極其敬畏，作戰時皆抱必死之心，所以戰無不勝，稱為名將。楊素當時正受寵幸，隋文帝對他言聽計從，所以楊素征戰的將士，都微功必錄。而其他的將領雖有大功，但都被文官譴卻。所以楊素雖嚴厲兇狠，但由于他能夠恩威并施，所以將士皆愿隨其征戰。

公元600年（開皇二十年）四月，步迦可汗率兵進犯隋邊。隋文帝命楊素隋晉王楊廣出靈州（治回樂，今寧夏靈武西南），同時又令漢王楊諒、柱國史萬歲出朔州（治善陽，今山西朔縣），合擊步迦可汗。楊廣為培植自己的勢力，親自與楊素結交，楊素也知楊廣有奪位之心，遂投其門下。

公元601年（仁壽初年），楊素取代高颎做了尚書左仆射。隋文帝賞賜給他好馬一百匹、母馬兩百匹、奴婢一百口。這一年，高祖又拜楊素為行軍元帥，前往云州攻打突厥，連連破敵。突厥逃跑，楊素率領騎兵緊追不舍，到夜里終于趕上。楊素想再次進攻，又怕敵人分散逃跑，就命令騎兵稍稍跟在后邊。他于是親自帶領兩名騎兵和兩個投降的突厥人潛入敵陣，同敵人一起前行，敵人沒有發覺。等到敵人停下來，止宿屯駐的地方還沒安排好，楊素命令后邊的騎兵突然襲擊，大敗他們。從此，突厥人逃得遠遠的，磧南再沒有他們的蹤跡了。

因為這次的戰功，隋文帝讓楊素的兒子楊玄感進位柱國，玄縱為淮南郡公，并賞賜給他織物兩萬段。

榮寵無比

公元602年（仁壽二年），文獻皇后去世后，墓葬的規模制度，大多出自楊素之手。隋文帝認為很好，下詔書大大表彰他的功勞，封他的一個兒子為義康郡公，食邑一萬戶，世代承襲，并賞賜給他良田三十頃，絹一萬段，米一萬石，金缽一個，裝滿了金子，銀缽一個，盛滿了珠寶，外加綾、錦共五百段。

當時楊素一天比一天顯貴榮耀，他的弟弟楊約、叔父楊文思、楊文紀以及族父楊異，都是尚書，位列公卿。諸子雖無汗馬之勞，也都官至柱國、刺史。楊素家童幾千人，后院披羅掛綺的樂妓小妾就以千計。府第華麗奢侈，規模體制摹仿皇宮。當時有一個叫鮑亨的人，很會寫文章，還有一個叫殷胄的，精通草書、隸書，都是江南的讀書人，卻因為高智慧的緣故埋沒為楊素的家奴。楊素的內外親戚和過去屬下的官吏，都位列清靜顯要之職。楊素的顯貴，南北朝以來無人可與他相比。

楊廣剛做太子的時候，非常顧忌蜀王楊秀，就和楊素謀劃陷害他，最后使楊秀被廢黜。朝臣之中如果有違背冒犯他的，即使其非常忠誠地為國事著想，像賀若弼、史萬歲、李綱、柳述等，楊素也在暗地里中傷他們。如果歸附奉迎他或者是他親戚，即使無才可用，他也一定加以推薦提拔。朝廷內外沒有不怕他、不歸附他的。只有兵部尚書柳述憑著自己駙馬的身份，多次在隋文帝面前說楊素的不是。大理寺卿梁毗上書隋文帝，彈劾楊素作威作福。隋文帝于是逐漸疏遠和猜忌楊素，后來下來力令說：“仆射是朝廷的輔政大臣，不可親自處理那些細小的事務，只須三五天到官署一次，討論一些國家大事就行了。”表面上顯示對他的尊崇、優待，實際上剝奪了他的權力。

直到仁壽末，楊素不再處理事務。隋文帝曾賞賜王公以下的人射箭，楊素名列第一，隋文帝親將外國進貢來的金精盤，價值萬兩，賜給了楊素。

助廣登基

公元604年（仁壽四年），楊素跟隨隋文帝駕臨仁壽宮，隋文帝又多次賞賜宴席。等到隋文帝病重，楊素和兵部尚書柳述、黃門侍郎元巖等人入宮侍候。當時皇太子楊廣住在宮內的大寶殿，怕隋文帝有什么不好的消息須要預先防備，于是親自寫了一封信，封好送出來問楊素。楊素記下宮外的形勢，來報告太子。宮人卻將回信誤送到了隋文帝的住處，隋文帝見信大怒。這時，隋文帝寵愛的陳貴人又說太子對她無禮。隋文帝于是大發脾氣，要召見已廢的皇子楊勇。

太子與楊素謀劃對策，楊素假傳圣旨派東宮的士兵入宮守衛，出入都由宇文述、郭衍決定，又命令張衡守候隋文帝的病情。隋文帝就在這天晚上駕崩了，因此朝廷內外有很多非議。

公元604年（仁壽四年），隋文帝駕崩后，楊廣登基，派車騎將軍屈突通帶著隋文帝的詔書，召楊諒回朝。楊諒知有異，不聽從遂起兵反叛。楊諒命蠕蠕天保占領蒲州，燒斷了河橋，又派王耳冉子率領幾萬人與他合力防守。楊素率領五千輕騎前去偷襲，他先隱蔽在渭口，夜間悄悄渡河，黎明時發動進攻，蠕蠕天保大敗而逃，王耳冉子因害怕而開城投降。楊廣下詔書召回楊素。

起初，楊素出發之前就計算過幾天可以打敗敵人，結果不出所料。楊廣又拜楊素為并州道行軍總管、河北安撫大使，率領幾萬人討伐楊諒。當時晉州、絳州、呂州州城都被楊諒守住，楊素各派兩千人去牽制他們。楊諒命令趙子開擁十余萬之眾，占領了所有的道路，盤踞在高壁，擺開五十里的戰陣。楊素命令部將帶兵正面對敵，自己則率領一支隊伍潛入霍山，沿著懸崖深谷前進，直搗叛軍老巢，一舉擊敗了他們，殺死殺傷的數以萬計。楊諒所任命的介州刺史梁修羅駐守在介休，梁修羅聽說楊素來了，非常害怕，棄城而逃。楊素繼續前進，到達清源，離并州還有三十里。楊諒率領部將王世宗、趙子開、蕭摩訶等將近十萬人馬，前來迎戰，楊素又打敗了他們，活捉了蕭摩訶。楊諒退守并州，楊素進兵包圍了他，楊諒無計可施，非常窘迫，只好投降，其余黨羽也都一一鏟平。

楊廣派遣楊素的弟弟修武公楊約攜帶親筆詔書慰勞楊素，楊素見詔后也上表陳述了自己的謝意。這個月楊素回到京城，跟隨楊廣抵達洛陽。楊廣任楊素為營建東京的大監。因楊素平定楊諒有功，煬帝拜他的兒子萬石、仁行，侄子玄挺都為儀同三司，并賜給他們織物五萬段、綺羅一千匹，賜楊諒妓妾二十人。

去世

公元605年（大業元年），又升楊素為尚書令，賞賜給他東京上等府第一處，織物兩千段，不久又拜為太子太師，其他職務不變，前后賞賜給他的東西不知有多少。

公元606年（大業二年），楊廣拜楊素為司徒，又改封他為楚公，食邑兩千五百戶。這一年，楊素死在任上。謚曰“景武”，楊廣追封他為光祿大夫、太尉公、弘農河東絳郡臨汾文城河內汲郡長平上黨西河十郡太守，賜給他載喪的鍂車、為他執斑劍的儀仗四十人，以及鍂車前后的儀仗隊和樂隊，還賜給谷子小麥五千石、織物五千段，派鴻臚卿專門監督辦理喪事，并且下詔書表示哀悼。

楊素曾經作了一首共七百字的五言詩送給番州刺史薛道衡，氣勢非常宏大，風韻出眾，堪稱一時的上乘之作。寫后沒幾天，楊素就死了。薛道衡嘆息說：“人快要死的時候，他的話語也變得很友善了，難道就是像這樣的嗎？”楊素留有文集十卷。楊素雖然有輔佐隋文帝建國立業的謀略，并且有平定楊諒的功績，然而卻深為楊廣所忌。楊廣面顯出對他特殊的禮遇，實際上恩情卻很淡薄。太史官說隋地所屬的分野將有重大的喪事發生，楊廣因而改封楊素為楚公，因為楚地和隋地屬同一分野，楊廣想借楊素來攔擋遭喪的運氣。

楊素臥病在床的時候，楊廣常派一些有名的醫生前去診治侍候，并且賜他許多上好的藥品，然而卻總在暗地里問醫生，總怕他不死去。

楊素知道自己的名望和地位已到了極限，不肯吃藥，也不想謹小慎微地活下去了，經常對弟弟楊約說：“我難道還要活下去嗎？”楊素依仗自己富足的錢財，廣求家產，東西二京他的居宅奢侈華麗，早晨拆毀晚上重建，營造修繕從不停止，在各方的大城市，他的旅店、水磨和肥沃的田地、華麗的房子都以千百來計算。當時人們議論紛紛，并且因此而瞧不起他。楊素死后，長子楊玄感繼承了他的爵位。后來楊玄感起兵事敗，遭到誅殺，楊素的家族也因受楊玄感的牽連都被株夷。