古代農耕社會裡，牛是非常重要的動物，它們在田間勤勤懇懇地工作，為人類服務。在祭祀時，牛也是重要的物品。《孟子》中就記載了齊宣王看到牛被拉去祭祀時，不忍心殺牛而提出以羊易之的故事。可是如此忠厚老實的牛，也有一些惡名呢，比如人們常用牛頭馬面、牛鬼蛇神一些詞語暗諷那些為非作歹之人。
牛頭馬面是冥界中兩個負責勾人魂魄的小鬼，即牛首之鬼和馬面之鬼。《五苦章句經》說：「獄卒名阿傍，牛頭人手，兩腳牛蹄，力壯排山，持鋼鐵釵。」牛頭手持的鋼鐵叉，每一叉有三股，可叉罪人數百千萬人於鑊中。馬面為馬頭人身，《楞嚴好》卷八稱：「亡者神識，見大鐵城，火蛇火狗，虎狼獅子，牛頭獄卒，馬面羅刹，手持槍矛，驅人城內，向無間獄。」隨著佛教的流行，牛頭馬面為鬼卒的說法也深入人心。唐代小說中就常出現牛頭之類的地獄人物，老百姓提起它來不寒而栗，頗具震懾作用。
牛鬼蛇神之意也源自宗教，牛鬼就是指地獄中的牛頭鬼卒，而蛇神是佛教裡人身蛇首的樂神，專門護衛佛法。因為這些事物皆非世間所有，所以後來人們常用此比喻怪誕的事物。唐代大詩人杜牧在《〈李賀集〉序》說：「鯨呿鰲擲，牛鬼蛇神，不足為其虛荒誕幻也。」意思就是李賀文章中的虛妄荒誕連牛鬼蛇神之類虛妄之物也無法比擬。《紅樓夢》中賈寶玉批駁寫八股文時就說：「更有一種可笑的，肚子裡原沒有什麼，東拉西扯，弄的牛鬼蛇神，還自以為博奧。」牛鬼蛇神還常用來比喻歪門邪道之流，比如人們常把張牙舞爪的壞人稱為牛鬼蛇神。
