用「樑上君子」指代小偷這可大有來歷。稱呼小偷為樑上君子的人是陳寔。 據《後漢書‧陳寔傳》記載，東漢的時候，有個叫陳寔的官員。人們遇到紛爭的時候，都會請陳寔出來主持公道，因為大家公認陳寔是一個誠實守信的正直官員，對他非常信任。
一天晚上，有個小偷溜進陳寔家，準備等陳寔入睡之後進行盜竊。陳寔發現小偷後卻假裝沒看到，安靜地坐在客廳裡喝茶。 過了一會兒，陳寔把全家人都叫到客廳，對著大家說：「你們知道，人活在世界上只有短短的幾十年，如果我們不珍惜現在的時間，等我們老了以後再努力就來不及了。所以，我們應該從小就要養成勤奮努力的好習慣，長大以後才能對別人有所幫助，對社會有所貢獻。現在有一些人不積極上進，一味貪圖享樂，這些人的本性並不壞，只是他們沒有養成好的習慣，才會做出一些危害社會的事情，你們現在把頭往上看，在我們樑上的這位先生，就是一個活生生的例子。」
小偷一聽，趕緊從屋樑上爬出來，跪在陳寔面前說：「對不起！我知道錯了，請你原諒我吧。」陳寔不但沒有責罵小偷，還非常慈祥地對小偷說：「我看你不像一個壞人，可能是因為生活困苦才走上這條路，我現在給你一些錢，你改過自新，做點正當的事情吧。」這個小偷後來果然改掉了自己的壞習慣，努力做事，成為一個被人稱讚的好青年。 後來，人們就根據這件事用樑上君子這個成語來稱呼小偷。
