在上世紀香港娛樂圈鼎盛時期，也趕上劉鑾雄事業大發的階段，他也趁勢泡女明星，炒緋聞，當時大劉上了不少娛樂版面，很多娛記回憶當年還是歷歷在目。其實在香港還有一位富豪風流史比大劉還多，這個人就是趙世曾。
在玩女人方面大劉絕對不是趙世曾的對手，趙世曾曾經說過："女人是我人生的樂趣來源！"可是如此"愛"女人的趙世曾卻給自己立下了很多規矩。趙世曾曾經公開表示，他雖然會和女人交往，但是絕對不會結婚。所以趙世曾一直流連花叢卻片葉不沾身，堪稱玩家中的玩家。
趙世曾之所以不結婚，是因為他打從心底里不相信女人，而且他身家幾十億，他認為和他結婚的女人多半都是看上了他的財產，一旦離婚趙世曾就會虧本。對於商人趙世曾來說，虧本的買賣他從來不干，所以他坦言自己不會結婚。和趙世曾交往的女人其實也比較委屈，因為她們甭想從趙世曾身上撈到太多好處。
趙世曾會按照女友的"表現"賞賜她們，可是絕對不允許女人蹬鼻子上臉，也就是說趙世曾認為給你可以，但是你不能要。雖然趙世曾有幾十億身家，但是他卻非常的摳門，外出吃飯一定會打包，修腳只花500塊，對自己都這麼摳門的男人又怎麼會捨得給女人花錢呢？
其實大劉很早以前就揭露了這些富豪的本質，他直言，其實大部分富豪都很節省，他們雖然喜歡賺錢，但是不喜歡花錢。所以趙世曾也是同樣，他喜歡玩女人，但是不會為了女人砸錢。但即便如此，還是有很多女人願意撲過來，所以趙世曾從來不會為女人發愁，他還有一位好友就是邵逸夫，因為他們關係比較近，所以趙世曾因此有更多機會和女明星交往。打開趙世曾的花名冊，可以看到很多當年正夯的女明星，例如蔡珍妮、姚煒、方怡珍、陳鳳芝和樂蓓等藝人都榜上有名。
而這些女明星只是九牛一毛，趙世曾一生一共交往過上萬個女人，他也經常在自己的豪宅里舉辦派對，而且家裡到處都是美女，趙世曾也樂於參加此類派對，他認為人生就是享受，他要將享樂進行到底。
如此花心又愛玩的趙世曾一生中只為一個女人上過心，這個人就是他的女兒趙式芝。趙式芝是趙世曾和姚煒生的孩子，當時趙世曾得知姚煒懷孕的時候怕得不行，他擔心姚煒會逼婚。可是早已看穿一切的姚煒馬上對外宣布不會和趙世曾結婚，而且她還要把孩子生下來。
就這樣姚煒一個人將趙式芝撫養長大，後來趙世曾還認了這個女兒，不過趙世曾很擔心女兒，因為她不喜歡男人只愛女人，趙世曾對此怎麼都無法接受，還曾經揚言只要哪個男人能讓趙式芝愛上他，他就給這個男人五億，可是事到如今還是無人能改變大小姐的性取向。現在趙世曾已經將手中大權交給趙式芝，他一個人只顧風流快活，不知道是不是天道好輪迴，愛玩女人的趙世曾終究還是栽在了女人手裡。