出生於美國新澤西州的內普丘思。父親嗜酒成性，後棄家出走，尼克爾遜是由外祖母撫養長大。說起來，他也是到了自己37歲時才搞清自己的身世。之前，尼科爾森由外祖母撫養長大，而他一直以為外祖父約翰·尼科爾森是他的父親，做美容師的外祖母埃斯爾·梅·尼科爾森就是他的母親。而他一直以為其真正的母親瓊·尼科爾森是自己的姐姐。
他是美國影壇上富有個性的演員，他飾演的角色總顯得那麼疲倦、邪惡，甚至叛逆不羈；但又是那麼凝重、豐滿和耐人尋味。憑著其老辣的演技，在好萊塢引領風騷近30年。自1969年因影片《逍遙騎士》獲奧斯卡最佳男配角提名至今，他已先後11次獲奧斯卡獎提名（7次男主角、4次男配角），3次捧得金像獎（1976年和1998年2次獲得奧斯卡獎最佳男演員，1984年獲奧斯卡獎最佳男配角），是奧斯卡獎歷史上獲提名最多的男演員，堪稱"奧斯卡之王"。
70年代是一個真正屬於尼科爾森的時代。這段時間裡他塑造了一個又一個不同類型的角色，並在每一部影片中嘗試著不同的表演風格，而結果都無一例外地證明了他的成功。在1972年的影片《馬文花園的帝王》中，他一改《五部輕鬆的戲劇》中披著長發的形象，變成了一個瘦瘦的中年知識分子。
80年代尼科爾森繼續譜寫著他在影壇的輝煌，多次獲得了奧斯卡獎的提名。1980年，尼科爾森在影片《閃靈》飾演一位沒有什麼名氣的作家，因大雪封山，帶著妻兒來看守旅店，終因精神崩潰而成為殺手。
進入90年代，尼科爾森主演的第一部主打影片，就是人們盼望已久的《唐人街續集》，他在這部影片中還擔任了導演。繼鮑勃·拉菲爾遜執導的《情逢敵手》和《最後巨人》二部平淡之作以後，1992年尼科爾森在《好人寥寥》中，又一次以精湛的演技征服了影壇，第10次榮獲了奧斯卡獎的提名。1997年更是憑藉影片《盡善盡美》第2次成為了奧斯卡影帝。1999年又被第56屆金球獎授予終身成就獎。
傑克·尼科爾森能根據每個導演的不同要求，逼真地演好各種角色，這也讓他逐步擁有了自己獨特的「尼科爾森表演風格」。正如尼科爾森的私人生活也與他在影壇上創造的眾多人物一樣豐富多彩。他與桑德拉·奈特、安吉莉卡·休斯頓、麗貝卡·布魯薩德等多位女星有染，並養下了一個女兒洛蘭以及一個兒子雷蒙。