胡銓雖顛沛流離，半生嶺海，但志苦心勞，好學不厭。對經史百家之學均有所得，而且通曉繪畫藝術。他推崇韓愈、歐陽修，主張以文"傳道"。他的文章，內容豐富，馳騁古今，多長篇大論。代表作如《上高宗封事》，決然表示"不與檜等共戴天"，"愿斬三人頭竿之藁街"，并主張"羈留虜使，責以無禮，徐興問罪之師"，"不然，臣有赴東海而死耳，寧能處小朝廷求活耶？"文章一出，群臣振奮，□佞失色。其他文章，如《應詔言事狀》、 《應詔集議狀》、 《上孝宗封事》、《與王中丞相書》，也都痛快淋漓。題跋如《跋陳了翁帖》，也寫得激昂慷慨。楊萬里曾為他的集子作序，說道："先生之文，肖其為人。其議論閎以挺，其敘記古以則，其代言典而嚴，其書事約而悉。"是中肯之評。

早立卓然

胡銓自小潛心學問，強記博覽。建炎二年（1128年），宋高宗在淮海策問進士，胡銓對御題問“治道本天，天道本民”，回答說：“湯、武順從民眾而興起，桀、紂順應天道而滅亡。現在陛下起于干戈鋒鏑之間，外亂內訌，而策問臣下數十條，都質問于天道，而不傾聽民眾呼聲。”又說：“現在的宰相不比過去的晏殊，樞密、參政又不是過去的韓琦、杜衍、范仲淹。”答問長達一萬多字，高宗看到而驚異，打算把他列為第一名，有人忌恨他的耿直，移為第五名。授職撫州（今江西撫州市）軍事判官，未上任，恰逢隆佑太后（孟皇后）為避金兵逃到贛州，金兵隨后追擊，胡銓以漕司檄文統攝本州幕僚，召募鄉丁輔佐官軍抵御，受賞轉承直郎。服父喪，從鄉先生蕭楚學習《春秋》。

紹興五年（1135年），張浚設都督府，辟舉胡銓任湖北倉屬，胡銓沒有赴任。有詔令到都堂審察，兵部尚書呂祉以賢良方正推薦他，獲高宗賜對，任樞密院編修。

乞斬秦檜

紹興八年（1138年），金國派遣張通古、蕭哲二人作為“江南詔諭使”，攜帶國書，在王倫的陪同下，來到南宋都城臨安進行和談。金使態度極其傲慢，目中無入，對南宋當局百般侮辱。但高宗和秦檜一味茍且偷安，不惜卑躬屈膝與金使議和。此舉激起了朝中大多數大臣與全國軍民的義憤，紛紛起來反對。胡銓反對議和最為激烈，他上書高宗，對金國議和的陰謀進行揭露，而且要求高宗斬秦檜、王倫、孫近的頭。他還表示，如果不這樣做的話，他寧愿投東海而死，也決不在小朝廷里求活。

胡銓這篇奏疏一經傳出，立即產生強烈反響。宜興進士吳師古迅速將此書刻版付印散發，吏民爭相傳誦。金人聽說此事后，急忙用千金求購此書，讀后，君臣大驚失色，連連稱“南朝有人”、“中國不可輕”。

奏疏上報之后，秦檜認為胡銓狂妄兇悖，鼓眾劫持，詔令除名，貶送昭州（今廣西省平樂縣）管制，并降詔傳告朝廷內外。給事中勾龍如淵、諫議大夫李誼、戶部尚書李彌遜、侍御史鄭剛中等人紛紛想方設法出面營救，秦檜迫于公論，只得改派胡銓去廣州監管鹽倉。

甘心流竄

紹興九年（1039年），改為簽書威武軍判官。

紹興十二年（1142年），諫官羅汝楫彈劾胡銓飾非橫議，詔令除名，貶送新州（今廣東新會縣）管制。

紹興十八年（1148年），新州守臣張棣攻訐胡銓與賓客唱酬對答，誹謗怨恨朝廷，胡銓再被貶至吉陽軍（今海南省崖縣崖城鎮）。

紹興二十六年（1156年），秦檜死，胡銓量移至衡州。

紹興三十一年（1161年），胡銓獲準隨意居住。

屢議朝政

紹興三十二年（1162年），宋孝宗趙昚即位，胡銓復職奉議郎、知饒州。孝宗召他入對，胡銓上奏修德、結民、練兵、觀釁四事。孝宗說：“朕很早就聽說你耿直誠實。”任命他為吏部郎官。

隆興元年（1163年），遷任秘書少監、擢任起居郎。針對自隆興北伐失敗后朝中的議和之風，胡銓多次上表予以反對。

當時發生旱災、蝗災和星變，孝宗下詔垂詢政事缺失，胡銓應詔上書數千言，全篇引用《春秋》記載災異的方法，論述政令缺失的情況有十種，而上下情不合的情況也有十種，并說：“堯、舜四目明白，四耳通達，雖有共、鯀之亂，不能堵塞。秦二世以趙高為腹心，劉邦、項羽橫行而沒有聽說；漢成帝殺死王章，王氏移鼎而沒有聽說；漢靈帝殺死竇武、陳蕃，天下崩潰而沒有聽說；梁武帝信任朱異，侯景斬關奪隘而沒有聽說；隋煬帝信任虞世基，李密稱帝而沒有聽說；唐明皇驅逐張九齡，安、史包藏禍胎而沒有聽說。陛下自從即位以后，號召延攬賓客，與我同時召來的張燾、辛次膺、王大寶、王十朋，現在張燾已離開朝廷了，辛次膺離開朝廷了，王十朋離開朝廷了，王大寶也將離去，只有臣還在。以言論為避諱，而想堵塞災異的根源，臣知道必然不能做到。”

胡銓又說：“過去周世宗被劉旻擊敗，周世宗處斬敗將何徽等七十人，軍威大震，果然打敗劉旻，奪取淮南，撫定三關。一天之內處死七十位將領，哪里還有將領可以使用？但周世宗終能恢復失地，這難道不是因為無能懦弱的人離開，而勇敢的人出來了嗎？近來宿州之敗，將士死于敵手的布滿原野，而敗軍之將以得到的金銀賄賂權貴以求得自解，上天以災異昭示人們，陛下必須信賞必罰以順應天道變化。”他又談論臺諫官說：“今朝廷大臣以箴默不言為賢，取悅陛下為忠，導致唐德宗時‘賣直’那樣的事發生，正所謂‘一言喪邦’。”孝宗說：“不是你，我聽不到這些話。”

金朝請求和議，胡銓說：“金朝知道陛下銳意恢復中原，因此用好話欺騙我，希望絕口不要說‘和’字。”孝宗將邊防事宜全部交付張浚，而王之望、尹穡等人專主議和排擠張浚，胡銓當廷斥責他們。胡銓兼任權中書舍人、同修國史。張浚兒子張軾被賜金紫，胡銓收繳上奏，認為不應當這樣對待勛臣子弟。張浚與胡銓交情深厚，胡銓不顧忌這一點。

十一月，孝宗就戰和問題向朝臣征求意見，與會的十四人中，力主和議的占一半，模棱兩可的占一半，反對議和的不過胡銓一人。朝廷任命他為宗正少卿，胡銓請求外任，沒被允許。

早先，金將蒲察徒穆、大周仁以泗州地投降，蕭琦率兵一百人投降，詔令都授予他們節度使。胡銓說：“接受投降自古以來都是件棘手的事情，六朝七次得到河南地區，但很快又都喪失；梁武帝時侯景將河南地區來投降，不久臺城淪陷；本朝政和、宣和年間，郭藥師從燕云來投，不久成為中國禍患。現在金朝三大將前來歸附，給予高官厚祿，優待他們的部隊，以維系中原民心，是不錯的。但讓他們駐在都城附近，萬一他們包藏禍心，作為內應，將來會后悔莫及，希望不要任命他們掌管兵權，把他們的部眾遷移到湖、廣地區以杜絕后患。”

隆興二年（1164年），胡銓兼任國子監祭酒，不久任權兵部侍郎，兼中書舍人。八月，孝宗因災異避住偏殿減少膳食，詔令廷臣議論政事缺失和當前急務。胡銓認為救災是當務之急，同金講和是政事缺失，認為“今日之議若成，則有可吊者十；若不成，則有可賀者亦十。”并舉“十吊”之事，再次反對議和。

當時，金兵向商、秦之地進發，楚荊、昭關、滁等地先后失守，只有高郵守臣陳敏頑強地拒敵于射陽湖（今江蘇東部）。形勢十分危急，胡銓受命以本職措置浙西、淮東海道。一面上表彈劾擁兵不救的大將李寶，敦促他迅速出師救援；另一方面又親自帶兵上前線抗金。時值嚴冬臘月，河水凍結，胡銓身先士卒，手持鐵錘下河擊冰。將士們深受鼓舞，一鼓作氣，奮勇作戰，終于擊退了金兵的入侵。許久后，提舉太平興國宮。

乾道初年，胡銓以集英殿修撰的身份知漳州，改任泉州。上朝奏事，留任工部侍郎。入朝對策，說：“少康以一旅之師恢復夏禹基業，今陛下富有四海，不只一旅，而即位已經九年，恢復過去基業的效果還未顯著。”又說：“天下多水旱災害，左右不上報，這是為國謀畫者的過錯，應該命令有關部門迅速做好防災準備。”請求退休。

乾道七年（1171年），任寶文閣待制，留經筵。請求離職。以敷文閣直學士出外任宮觀官。辭行時，還以歸還陵寢、恢復故疆上言，孝宗說：“這是朕的志向。”并問他回到哪里，胡銓說：“回到廬陵，臣以前在嶺海曾經訓解經書，想寫成此書。”孝宗特賜通天犀帶以示寵榮。

胡銓歸去后，獻上所著《易》、《春秋》、《周禮》、《禮記解》，孝宗詔令收藏于秘書省。不久復任原官，升龍圖閣學士、提舉太平興國宮，轉提舉玉隆萬壽宮，進為端明殿學士。

歸家長逝

淳熙六年（1179年），召胡銓歸經筵，胡銓以疾病極力推辭。

淳熙七年（1180年），胡銓已屆七十八歲高齡，疾病纏身，不能再上朝，孝宗準許他以資政殿學士的身份致仕。五月，胡銓病危，彌留之際，仍口授遺表，悖悖期望孝宗“舍己為人，安民和眾”，牢記家仇國恨，收復失地。他自己則愿學習唐代安史之亂時忠貞殺敵、以身殉國的張巡，“為厲鬼以殺賊，死亦不忘！”就在忠君愛民、殺敵報國囑咐聲中，胡銓溘然辭世。孝宗聞訊后，特贈通議大夫。

淳熙十三年（1186年），追謚“忠簡”。