在中國，最早將君子與小人進行明確區分的是孔子。在《論語》中有大量的文筆談及了小人與君子。比如「君子喻於義，小人喻於利」、「君子周而不比，小人比而不周」，再比如著名的「唯女子與小人難養也」。凡此種種，大抵都是對小人的蔑視與對君子的讚揚。儒家通過這種方式宣揚自己的道德理念和政治理想，並告誡人們，要努力去做君子。儒家廣泛的影響力讓其「君子」與「小人」之辨在人們心中根深蒂固，這在某種程度上也成了衡量一個人好與壞的價值尺度。
早期所謂的小人，有兩個含義，一種是指的小孩。《論語》中「唯女子與小人難養也」中的「小人」大抵也是指的小孩，這種意義上的小人是不與君子相對的，是一個較為中性的含義。而另一種「小人」則是指與君子相對立的，品行不端正的人。這種人與我們今日所說的「小人」含義是一致的，在生活中我們難免會遇到這種人，他們言行不一，在人是一個樣子，而在人後又是一個樣子，兩面三刀，陽奉陰違，甚至為了利益而不惜一切代價。他們很難纏，他們在人前的花言巧語往往會讓人相信他們的偽善，而他們殷勤的姿態也往往會掩蓋他們內心的陰暗。當他們在背地裡摘下面具之後，便會為了自己的利益無所不用其極。對於此種「小人」，同為儒家的荀子將其概括為「言無常信，行無常貞，唯利所在，無往不傾」，也就是說他們在做事時是沒有原則的，只要能撈到好處，就會不擇手段。
君子與小人相爭，往往是小人占便宜，君子吃虧。君子之所以成為君子，就是因為他們有原則和底線，在做事的時候會考慮是否符合道義，從而有所為有所不為。而小人則不是如此，他們並沒有什麼原則和底線，他們眼中只有利益，只要能實現自己的利益目標即可，用什麼手段並不重要。這種攫取利益的方式是為世人所不齒的，因為衡量道德的標準不是取決於行為的結果，而且取決於行為本身。《論語》中講孔子「釣而不綱，戈不射宿」，就是說，孔子釣魚但是不用網捕魚，也從來不打回巢的鳥。孔子之所以「釣而不綱」其原因就在於給了魚一個選擇的機會，願者上鉤，這種行為便是符合道義的，而用網將魚一網打盡，則是一種竭澤而漁的行為，也讓人為了利益而拋棄了仁愛之心。人類要想活下去，必然要犧牲一些生靈，但我們不能用一些不人道的手段去殘害它們，小人往往不會懂這個道理。
小人與君子是互相對立的兩個方面。就如同道家所強調之「陰陽」，有「陰」就會有「陽」，二者相互對立又誰也離不開誰，共同構成了一個統一的整體。要知道，小人逐利而不尚義的特點，決定了他們是沒有駕馭大局能力的。所以，當我們遇到戚戚小人時，不妨以此為鏡，端正自己的品行，做好自己，以直報怨，以自己的一身正氣，贏得人們的信任，也讓小人無處遁形。