蘇世長知道自己在李淵心中的位置，他也明白自己應該起怎樣的作用，於是一而再，再而三地讓李淵不高興。
隋朝末年，天下大亂，各方豪傑，群雄並起，逐鹿中原。這時候什麼最重要，當然是人才了。
有人個11歲便給皇帝上條陳，後來在隋朝做了一名言官，多次上書言事，這種人是不是人才呢？當然是了。
他是誰呢？
在晉陽起兵，廣招天下賢士的李淵知道這個人，他名叫蘇世長，出身官宦世家，曾經和李淵同殿為臣，那時的蘇世長已經很有名了。
李淵想把他招來，收為己用，可惜道不同不相為謀，蘇世長死活不從。不過李淵一直惦記著他，幾次派人去尋他，結果蘇世長拒不見面。
沒想到，蘇世長不久之後便跟了王世充，可謂明珠暗投。李淵每想到這件事就非常遺憾，甚至還有一種很複雜的情緒。
那一日，他看到了蘇世長跟在王世充後面，前來歸降。王世充情緒非常低落，蘇世長卻不然，神情淡定，全無一點敗軍之將的樣子。
李淵內心非常欽佩這種處變不驚的人，便把留在身邊做了一名言官。
雖然如此，李淵還是對之前蘇世長拒絕他的事情耿耿於懷。有一次閒聊說起這件事情來，李淵頗多怨言，讓當時的氣氛非常尷尬。
蘇世長起身，深深作了一揖說：「陛下，古時候人們把爭奪天下比喻為逐鹿，一旦有人得手，其他人就放手了。哪裡有捕獲鹿以後，還埋怨其他同獵的人呢？」
李淵聽後，果然是這個道理，便和蘇世長把酒言歡。
有一次蘇世長陪同李淵外出遊獵。收穫頗多。李淵志得意滿，把打來的獵物一排排擺在地上，問在場的人們「今天大家高興嗎？」
其他人都歡呼雀躍，唯有蘇世長站出來說：「陛下今天取得了這麼多獵物，但是錯過的更多。」
打獵就是這樣，錯過的更讓人遺憾，李淵心裡很不痛快，開玩笑說：「蘇世長，你不是癲狂病犯了。」
蘇世長一臉正色：「如果從我的角度考慮，那我是真的發狂了，但我為陛下考慮，那是一片忠心啊。」
其他人不明所以，李淵卻聽的明白：「他是想借這句話來規勸我，不要沉迷遊獵，而荒廢了政事。」
李淵當初從晉陽城起兵時，生活起居都非常節儉，可是定鼎天下之後，便開始奢靡起來，大興土木，為自己建造宮殿。李淵這人還有個毛病就是很愛顯擺。有次一個宮殿剛竣工不久，他便帶著蘇世長等人參觀，眾人看著雕樑畫棟，做工精巧的宮殿，都讚嘆不已。
蘇世長也大發感慨：「隋煬帝建造的這座宮室，還真是不錯啊。」
眾人聽了這話，覺得莫名其妙，這和隋煬帝有什麼關係呢？李淵卻不糊塗：「蘇世長，你還說你是個直人，有什麼話就直說，何必拐彎抹角呢？你難道不知道這是我建的嗎？」
蘇世長一拍手，假裝很驚訝的樣子說：「原來是陛下建的啊，為什麼這風格這麼想隋煬帝的風格呢？如果這是陛下建的，實在是不應該啊，想當初您是那樣的節儉，所以天下歸心，而隋煬帝窮奢極欲，所以丟了江山，陛下要引以為戒啊！」
李淵聽了臉上紅一陣，白一陣，說不出話來，最後他再也不建造宮室了。
蘇世長的智慧在於敢於提出不同的意見，而且有非常充分的理由，讓皇帝覺得他是一片忠心，而並非謀求上位，這是最難得的。