《五牛圖》的作者是唐代著名的宰相韓滉。那時，韓幹以畫馬著稱，韓滉以畫牛著稱，後人稱為“牛馬二韓”。這幅《五牛圖》，是韓滉最為傳神的一幅。5頭健碩的老黃牛，《五牛圖》在這位當朝宰相筆下被“人格化”了，傳達出注重實際、任勞任怨的精神資訊。

據民間傳說：有一次，韓滉與友人談論繪畫之事，友人問道：“近來論畫者談及驢、牛和馬，皆認為是常見之畜，最難狀貌圖形，不知吾兄有何高見？”韓滉稍加思索後回答說：“此話有一定道理，因牛馬都是人們熟悉的家畜，平日所常見，畫家稍有不慎，或者偶有誤筆，人們就能發現，所以一般畫家都不涉及此類題材”。說到這裡，他停頓一下繼續說：“不過，我以為自古迄今，農事為天下之本，而耕牛則為農家之寶。只要畫家能夠細心觀察，還是可以畫出特色的。”友人聽了非常佩服他的獨到見解。

在一個天氣晴和的日子裡，韓滉帶領隨從來到郊外田間小道上，迎著和暖的春風，心曠神怡。看到幾頭耕牛在低頭食草，二三牧童在嬉耍，一個牧童騎在牛背上吹笛，逍遙自得。遠處又見一頭耕牛翹首而奔，另有幾頭耕牛縱趾鳴叫。有的回頭舐舌，有的俯首尋草。在開闊的田野裡，有幾位農夫正在田間用牛耕地翻土。韓滉看得出神，連忙命隨從取出畫夾，他全神貫注地速寫出一幅幅耕牛圖景。經過一個多月的反覆修改，終於繪出狀貌各異的五頭牛。一頭牛在低頭慢慢地食草；一頭牛翹首向前賓士，彷彿是撒野的猛獸；一頭牛在回顧舐舌，露出一幅旁若無人的樣子；另一頭牛則縱趾而鳴，好像在呼喚著離去的夥伴；還有一頭牛在緩步跂行，似乎走向田頭，又彷彿耕地歸來，令人回味無窮。整個畫面，用筆粗放中帶有凝重，顯示出農村古樸的風俗。韓滉對這幅畫的創作非常滿意，取名為《五牛圖》。