廉希憲于元太宗三年五月二十五日（辛卯年，1231年6月26日）出生于蒙古占領下的燕京，其父為投奔蒙古的畏兀兒人布魯海牙，因曾任燕南諸路廉訪使故改漢姓“廉”。 [2] 廉希憲自幼身材魁偉，舉止與一般兒童不同。十九歲時入侍忽必烈王府，因其“篤好經史，手不釋卷”的勤學精神，深得忽必烈賞識。有一天正讀《孟子》，忽聞忽必烈召見，匆忙將書揣入懷中。忽必烈問《孟子》書中所言何事，廉希憲陳說性善、義利、仁暴等。忽必烈嘉獎其學問，稱他為“廉孟子”，于是知名于世。廉希憲還善射，一次在忽必烈面前力挽勁弓，三發三中，眾人欽佩他“文武全材”。后從征云南等地。

元憲宗四年（1254年），任京兆（今陜西西安）宣撫使。京兆控制隴蜀地區，諸王封地布于左右，境內羌戎雜居，號稱難治之地。廉希憲到任后，探求百姓疾苦原因，抑強扶弱。空閑時向名儒許衡、姚樞等人請教治世之道。并提請忽必烈用許衡來管理京兆學校，以教育人才作為根本大計，并將儒士另立戶籍，取得顯著政績。

元憲宗九年（1259年），隨忽必烈攻宋鄂州，廉希憲率儒生百余人拜伏于軍門，呈請忽必烈在王師渡江以后，“但凡軍中所俘士人由官府出錢贖身，遣歸原籍，以表示殿下廣施恩典”。忽必烈同意，因此有五百多儒士被放還。

憲宗死后，廉希憲秘密進言：“先發制人，后發人制。天命不敢辭，人情不敢違。事機一失，萬巧莫追。”力促忽必烈迅速北返，在與阿里不哥爭奪皇位的斗爭中占據主動地位，并最終奪得帝位。此間，他再次出鎮關中，任京兆、四川道宣撫使，重用良將，力挫阿里不哥的支持者渾都海，平定關隴，旋即升任平章政事。

中統三年（1262年），又進拜中書平章政事。

至元五年（1268年），始置御史臺，繼設各道提刑按察司。當時阿合馬總攬財政，質問廉希憲：“政務由諸路辦理，錢谷之事交付轉運司，今設御史臺、提刑司牽制，叫他們如何辦事？”廉希憲回答：“立御史臺和按察司是自古以來的制度，其職責是內劾奸邪，外察越軌行為，考察民間疾苦。其于國政有益則莫大于此。若不設臺察，上下專橫，恣意貪暴，國事能有成就嗎？”阿合馬啞口無言。

至元七年（1270年），廉希憲患病，忽必烈派遣醫生三人診視，醫生說須用砂糖做藥引，家人到處尋求，阿合馬送去二斤，廉希憲拒收，還說道：“即使此物果能治好病，我也絕不靠奸人的贈送來救自己的命。”忽必烈聽說后，遣人送去砂糖。

至元十一年（1274年），任命廉希憲為北京行省平章政事。

至元十二年（1275年），忽必烈急召廉希憲回京，命他撫治荊南，并有授三品以下官職之權。廉希憲帶病赴任，右丞阿里海牙率領屬官于江陵迎接，荊人大為驚駭。

廉希憲到任后，立即下令嚴禁剽劫，通商販，興利除害，兵民安居樂業。希憲還收留宋朝故宣撫、制置二司幕僚中能干事者二十余人，因材任用。這些人贈他珍寶玩物，廉希憲拒絕，并告誡說：“你們是宋朝故官，若任用你們，當念我朝圣恩，盡力報效。今你們送我這些東西，我取之不義，若是官物，收受如同盜竊，若系取之于民，那就是犯罪，你們應當慎重。”又下令：對被俘軍民，殺者以殺平民論罪；俘虜患病而被拋棄者，許人收養，病愈后原主人不能再據為己有；凡買賣妻室兒女者，判以重罪，所賣之錢官府沒收。決開江陵護城河放水，得良田數萬畝，分給貧民耕種。開沙市糧倉，以粟米二十萬斛賑濟公安縣饑民。大興學校，選任教官，購置經書，并親自到課堂勉勵諸生努力學習。

廉希憲在荊南的政績，影響深遠，西南民族及思、播二州之田、楊兩姓，還有宋重慶制置趙定應等，都來請降。江陵人說：“皇帝派廉相出鎮荊南，不僅人蒙德化，連昆蟲草木都得其恩惠。”

至元十四年（1277年），廉希憲因病久不愈，被召還京都，江陵人民哭泣挽留。他離開后，江陵人畫像建祠，以為紀念。五月，廉希憲回到上都，他兩袖清風，離任時隨身之物只有琴、書而已。

廉希憲還京后，忽必烈詔征揚州名醫王仲明為他診視，病稍愈，能扶杖而起。太祖大喜說：“卿得良醫，故病漸愈。”廉希憲說：“醫生用良藥為臣治病，若臣能自己小心謹慎，就會痊愈，但若臣自己懈怠不堪，雖良醫亦無益。”這是借此事來諫勸皇帝。朝廷設立門下省，忽必烈意欲讓希憲來主持門下省事，結果卻為阿合馬所阻。

至元十六年（1279年）春，廉希憲復受命領中書事，但病情日重，太子真金前來探望，并問為政之道，廉希憲說：“人君治國最重要的是用人得當，用君子則治，用小人則亂。臣今病勢加劇，聽天由命而已，而十分擔心的是當前大奸專政，小人附和，誤國害民，這才是國之大病，希望殿下力勸皇上屏除奸臣，否則國病日重，無可救藥。”

至元十七年（1280年）十一月十九日（12月12日）夜間，廉希憲逝世，享年五十歲。

元成宗大德八年（1304年），廉希憲獲贈清忠粹德功臣、太傅、開府儀同三司，追封魏國公，謚號“文正”。后加贈推忠佐理翊運功臣、太師、開府儀同三司、上柱國、恒陽王。