中國一些流傳久遠的神話傳說充分說明,中國很早就已發現和利用煤炭。《浮山遺灶記》所記，相傳女媧氏在山西平定東浮山上設灶煉石，使用的燃料就是煤炭。明代學者陸深根據民間傳說和當地人民自古以來用煤燒塔火的習俗（“家家置一爐焉，當戶，高五六尺許，實以雜石，附以石炭，至夜煉之達旦，火焰焰然，……是之謂補天”），認定女媧氏用煤來煉石補天，併為此寫了《浮山遺灶記》碑文。明末清初學者顧炎武則進而認為“此即後世燒煤之始”。明代另一學者甄敬也認為“石火（燒煤）之利，其始於女媧乎！”。所謂女媧氏補天，並不可信，但平定地處盛產煤炭的陽泉礦區，那裡很早就利用露頭煤來燒火則是十分自然的。

2500年前的《山海經》，最早記載了煤並稱之為“石湟”。從遼寧瀋陽發掘的新樂遺址內，發現多種煤雕製品，證實了中國先民早在6 000～7 000年前的新石器時代，已認識和利用了煤炭。繼新石器時代到夏朝、商朝煤炭逐步得到了更廣泛的利用，到了周代（公元前1122年）煤炭開採已有了相當大發展，並開始了地下采煤。《漢書·地理學》記載說：“豫章郡出石，可燃為薪”。豫章郡在今江西省南昌附近，這裡所說的可燃為薪的石頭，應理解為煤。可見這時煤已用於群眾的日常生活。

從漢代始煤炭已經用於冶鐵過程中，西漢（公元前206～公元25年)時期，開始採煤鍊鐵。這是因為周代已出現了鐵器，到了漢代時鐵製兵器數量猛增，漢武帝元狩四年（公元前119年）實行鹽鐵官營政策，分別在產鹽和產鐵地區設鹽官和鐵官。從而使漢代的冶鐵業得到較快發展。於是解決燃料問題成為開辦冶鐵業的先決條件。漢代的冶鐵業一般都靠近燃料產地，記載西漢鹽鐵會議情況的《鹽鐵論》一書反映了這一事實：“鹽冶之處，大校（抵）皆依山川，近鐵炭”。這裡的“炭”所指的就是煤。

中國是世界上最早利用煤的國家。遼寧省新樂古文化遺址中，就發現有煤制工藝品 ，河南鞏義市也發現有西漢時用煤餅鍊鐵的遺址。《山海經》中稱煤為石涅，魏、晉時稱煤為石墨或石炭 。明代李時珍的《本草綱目》首次使用煤這一名稱。希臘和古羅馬也是用煤較早的國家，希臘學者泰奧弗拉斯托斯在公元前約300年著有 《石史》 ，其中記載有煤的性質和產地；古羅馬大約在2000年前已開始用煤加熱。

？公元315年，歐洲有了煤的文字記載，9世紀，英格蘭東北部的一些居民已經開始使用煤，因為是在海邊發現煤，因此也將煤稱為“海煤”。