硯臺歷經秦漢、魏晉，至唐代起，各地相繼發現適合制硯的石料，開始以石為主的硯臺製作。其中採用山東青州的紅絲硯、廣東端州的端石、安徽歙州的歙石及甘肅臨洮的洮河石製作的硯臺，被分別稱作紅絲硯、端硯、歙硯、洮河硯。後世人們便將紅絲硯、端、歙、臨洮硯稱作四大名硯。清末，人們又將山西的澄泥硯與端、歙、洮並列為中國四大名硯

由於端硯特別受到文人們的青睞，所以有關的美麗傳說也特別多。關於端硯的創始人，史書上沒有記載。但在端硯的故鄉，老石工們從先輩口裡聽說，製作第一個端硯的人是一位顧氏的婦女。這位顧氏是肇慶黃崗村人，據高要縣誌記載，黃崗村的農民在很久很久以前就有開山採石的傳統。那裡的雕石藝人手藝之高，在嶺南地區是有名的，許多石獅子、石碑和石柱都出自他們之手。顧氏的父親是個技藝很高的石匠，顧氏從小就十分喜愛刻石，他父親很疼愛她，常用白石雕成玩具供她玩耍。20多歲時，顧氏跟著父親學得一門好手藝。有一次，顧氏隨她的父親上山採石，發現一種紫色的石頭，她感到很有趣，於是便把它鑿成方塊狀，周圍刻上花紋，做成硯臺。當顧氏用這個硯臺磨墨的時候，感覺發墨非常快，她就把這個新發現告訴了父親。父親很高興，他連忙拿給同伴看。後來，村裡的男石工們在顧氏撿得紫石的那個地方，找到了石的礦藏，開始製作硯臺，在市面上出售。於是端硯也就慢慢就成了本地的特產。