受影視劇的影響，在大家的印象中，唐伯虎是一個才華橫溢、風流多情的公子哥兒。可是在真實的歷史上，唐伯虎的一生其實很悲情，官場情場都失意，幾次自殺未遂。
一般人都認為唐伯虎家境殷實，根本不需要為錢發愁，其實並非如此。唐伯虎的祖上頗為顯赫，先祖唐儉因追隨唐朝開國皇帝李淵被封為莒國公，但到了明代的時候，就大不如前了，唐伯虎的父親唐廣德只是蘇州一家小酒館的老闆。
公元1494年，唐廣德逝世，而在接下來短短一兩年里，唐伯虎的母親和妹妹相繼去世，而他的妻子也因難產而死。家境日漸窘迫。經此變故，二十來歲的唐伯虎已有白髮。祝枝山便勸唐伯虎，不如好好讀書參加科考，也好給自己掙個前程。
公元1498年，唐伯虎在鄉試中名列第一（解元），春風得意的唐伯虎流連歡場，好友文徵明寫信勸他說："我父親時常誇讚你有才情，但性格有些輕浮，擔心你將來會一事無成。"唐伯虎對文徵明的勸告嗤之以鼻，回信道："我的天性就是這樣，若是你看不慣，以後就別做朋友了。"
公元1499年，唐伯虎入京參加會試，卻被牽連進科舉舞弊案中，被罷黜為小吏。心高氣傲的唐伯虎自然不願屈就，而他的第二任妻子見他在仕途上沒希望了，便棄他而去。
不得志的唐伯虎從此過著縱情聲色的生活，靠賣字畫為生。雖然唐伯虎的書畫現在很值錢，但在那個年代，卻賣不了多少錢，唐伯虎曾向朋友自嘲道："上好良田無人買，誰肯購我畫中山？"所以唐伯虎的日子一直過得十分窘迫。
據說唐伯虎在失意時曾遇到一位名叫沈九娘的紅顏知己，她雖然是個風塵女子，卻善解人意，兩人的感情很好。但沒過多久，沈九娘就病重去世了，這件事給唐伯虎的打擊很大，萬念俱灰的唐伯虎曾用鐵釘插頂，想就此了結，卻沒有成功，之後幾次自殺未遂。
之後的唐伯虎常常借酒消愁，因為酗酒過度和流連歡場，唐伯虎的身體狀況一日不如一日。因為經常生病，唐伯虎也沒辦法工作，只能借錢度日。
公元1524年，54歲的唐伯虎悽慘地死去，當時他家徒四壁，連下葬的錢都沒有。祝枝山得知後，幫忙處理了他的後事，將唐伯虎葬在桃花庵附近。唐伯虎去世前寫下的最後一首詩叫《臨終詩》，也被人稱為《伯虎絕筆》，全詩如下：
生在陽間有散場，死歸地府又何妨？
陽間地府俱相似，只當漂流在異鄉。
唐伯虎才氣逼人，一生萬般磨難，臨終前卻開朗豁達，既沒有憤懣不平，也沒有書生意氣，看淡生死，無所畏懼。這種境界既讓人嘆息也讓人佩服。