相傳在4000多年前，在中國北方中原地區，華夏族的首領黃帝和東方部落的首領蚩尤大戰於涿鹿之野，戰鬥持續了半年，仍沒有有分出勝負。

黃帝部落是一個比較強大的部落，戰爭獲勝是大有可能的。但是，每當戰鬥即將勝利之時，總是有大霧迷漫山野，讓人辨不出方向，蚩尤的軍隊乘機撤退，所以黃帝時常前功盡棄。幾次三番後，黃帝決定派人探個究競，這霧到底是怎麼引起的。

於是，他帶著幾名重要將領，親自登上山頂，偵察蚩尤部落的動靜。大家到了山上後，各處山谷裡全瀰漫著悠悠昏霞，溼而冷的霧向他們緩緩飄來，只見浪潮起伏，互相追逐，彷彿險惡海面上的波濤。霧的密度封閉了所有景物，讓他們視線不清。可就在黃帝準備命令返營時，身邊的大將突然發現了什麼。

黃帝隨著大將手指的方向望去，很快便發現在敵人的大營中，蚩尤正坐在祭壇上，身後揚起幽煙，徐徐作霧。霧從他的口中吐出，慢慢飛出營外，縈繞著山川鉅野。

這時，黃帝才明白這不是自然界之霧，而是蚩尤的詭計。如想破掉霧，他就必須造出一樣東西，使人能夠辨別方向，然後才可一舉破之。

回營後，黃帝立即吩咐能工巧匠造指南車，讓指南車認出方向。在指南車造好後的一個黃昏，黃帝率領部落軍兵，大舉進攻蚩尤。這時，蚩尤再作霧也不靈了，黃帝部落在指南車的指引下，終於在迷霧中大敗蚩尤，獲得大勝。

這個故事雖然是傳說，但流傳很廣，它說明指向裝置在中國的悠久歷史。

東漢時的大科學家張衡也曾經發明過指南車，但他的製造方法卻失傳了。直到三國時代，有個叫馬鈞的發明家，終於重新造出了指南車。此後，人們根據前人的經驗不斷總結，不斷髮現，最終制成了實用的指南針，使其位列中國古代四大發明之一。