指南針古稱司南，史上最早有記錄是在戰國時期的磁山一帶，也就河北省邯鄲市武安一帶，先前典籍記錄全部出現在以古代邯鄲為中心的燕趙文化區域內，而且全部用天然磁石磨製而成，先秦典籍記載中，也只有武安慈山有產天然磁石，所以武安極有可能就是指南針的故鄉。

早在古代，指南針就已被嘗試利用在許多領域，比如指南車、指南舟和報時刻漏。晉人葛洪所作的《西京雜記》中提到的“司南車”即半自動機械裝置指南車。《宋書·禮志》記載：“晉代又有指南舟。”南朝任昉的《奉和登景陽山》詩吟道：“奔鯨吐華浪，司南動輕枻。”詩中的司南即指皇家園池中的指南舟，可是，“指南舟”究竟怎樣導航，至今依然是一個迷。可見早在晉朝時先人已經開始嘗試指南針在航海中的使用。在晉朝還發生一件航海界的大事，晉朝的法顯從中國去天竺十多年後，透過航海回至國內，當時晉朝的造船業和航海水平已經很高了，能生產乘坐兩千恩典巨型船隻，四帆的航海船，調風的技術和牽星術、指南舟，一路從天竺回至山東青島，其實原目的地是廣州，只是中途遇上暴風雨。

可以說早在晉朝甚至更早的漢代，秦朝中國的航海活動已經很頻繁，中國古人可能已經開始使用指南針進行航海活動，至於是否起源在廣州是很難說的，廣州雖然是當時海上絲綢之路的主要港口，但是從古籍可知，在先秦時代，其港口主要分佈在山東一帶，如琅琊郡就是當時著名的港口，據部分史學觀點認為徐福航海的出發點就是琅琊郡。漢代合浦，日南，徐聞等為南海海運中心，晉朝以後，廣州才成為主要海運中心。

指南針的發明者是誰至今依然沒有定論。

根據權威史料記載：黃帝與蚩尤戰於涿鹿之野。蚩尤作大霧，兵士皆迷。於是作指南車以示四方，遂擒蚩尤而即帝位。因此指南針傳統上被認定為是黃帝發明的。