據考證，人類對這條定理的認識，少說也超過 4000 年！
中國最早的一部數學著作——《周髀算經》的開頭,就有這條定理的相關內容：周公問：“竊聞乎大夫善數也，請問古者包犧立周天歷度。夫天不可階而升，地不可得尺寸而度，請問數安從出？”商高答：“數之法出於圓方，圓出於方，方出於矩，矩出九九八十一，故折矩以為勾廣三，股修四，徑隅五。

既方其外，半之一矩，環而共盤。得成三、四、五，兩矩共長二十有五，是謂積矩。故禹之所以治天下者，此數之所由生也。”從上面所引的這段對話中，我們可以清楚地看到，中國古代的人民早在幾千年以前就已經發現並應用勾股定理這一重要懂得數學原理了。

在西方有文字記載的最早的證明是畢達哥拉斯給出的。據說當他證明了勾股定理以後，欣喜若狂，殺牛百頭，以示慶賀。故西方亦稱勾股定理為“百牛定理”。遺憾的是，畢達哥拉斯的證明方法早已失傳，我們無從知道他的證法。

實際上，在更早期的人類活動中，人們就已經認識到這一定理的某些特例。除上述兩個例子外，據說古埃及人也曾利用“勾三股四弦五”的法則來確定直角。但是，這一傳說引起過許多數學史家的懷疑。比如說，美國的數學史家M·克萊因教授曾經指出：“我們也不知道埃及人是否認識到畢達哥拉斯定理。

我們知道他們有拉繩人（測量員），但所傳他們在繩上打結，把全長分成長度為3、4、5的三段，然後用來形成直角三角形之說，則從未在任何文件上得證實。”

不過，考古學家們發現了幾塊大約完成於公元前2000年左右的古巴比倫的泥板書，據專家們考證，其中一塊上面刻有如下問題：“一根長度為 30個單位的棍子直立在牆上，當其上端滑下6個單位時，請問其下端離開牆角有多遠？”這是一個三邊為為3:4:5三角形的特殊例子；

專家們還發現，在另一塊泥板上面刻著一個奇特的數表，表中共刻有四列十五行數字，這是一個勾股數表：最右邊一列為從1到15的序號，而左邊三列則分別是股、勾、弦的數值，一共記載著15組勾股數。

這說明，勾股定理實際上早已進入了人類知識的寶庫。

1876年一個週末的傍晚,在美國首都華盛頓的郊外,有一位中年人正在散步,欣賞黃昏的美景,他就是當時美國俄亥俄州共和黨議員伽菲爾德.他走著走著,突然發現附近的一個小石凳上,有兩個小孩正在聚精會神地談論著什麼,時而大聲爭論,時而小聲探討.由於好奇心驅使,伽菲爾德循聲向兩個小孩走去,想搞清楚兩個小孩到底在幹什麼.只見一個小男孩正俯著身子用樹枝在地上畫著一個直角三角形.于是伽菲爾德便問他們在幹什麼?那個小男孩頭也不抬地說：“請問先生,如果直角三角形的兩條直角邊分別為3和4,那麼斜邊長為多少呢?”伽菲爾德答道：“是5呀.”小男孩又問道：“如果兩條直角邊長分別為5和7,那麼這個直角三角形的斜邊長又是多少?”伽菲爾德不假思索地回答道：“那斜邊的平方一定等於5的平方加上7的平方.”小男孩又說：“先生,你能說出其中的道理嗎?”伽菲爾德一時語塞,無法解釋了,心裡很不是滋味.

于是,伽菲爾德不再散步,立即回家,潛心探討小男孩給他出的難題.他經過反復思考與演算,終於弄清了其中的道理,並給出了簡潔的證明方法.