說起衛拉特蒙古，我們總是很容易將其等同於衛拉特四部，即著名的土爾扈特部、準噶爾部、和碩特部和杜爾伯特部。但是，形成四部的衛拉特蒙古其實是在明末清初之際，而在此之前，衛拉特並沒有四部的說法。而那時候，輝特部正是衛拉特蒙古極為重要的一支，並在衛拉特蒙古的發展過程中，發揮了難以替代的重要作用。

輝特部的歷史很古老，但關於它早期的歷史卻並沒有一個定論。關於輝特的起源，迄今為止有兩種說法，一種說法是：輝特部是衛拉特部早期領袖、林木中百姓斡亦剌惕部落首領忽都合別乞的後代。再具體一些，則是忽都合別乞的兩個兒子脫欒勒赤和依納勒赤的後裔。而眾所周知，衛拉特蒙古就是林木中百姓發展而來的部落聯盟。按照這種說法，那麼，輝特部顯然是衛拉特蒙古嫡系中的嫡系，屬於根紅苗正的衛拉特。

而另一種說法則是，輝特部起源於蒙古帝國四大汗國時期，據說，原來是遊牧於金帳汗國欽察草原和察合臺汗國的察合臺汗、窩闊臺汗後裔，以及一部分阿速特部離開故地之後，翻越阿爾泰山來到漠北地區後所組成的部落。也就是說，輝特部的主要組成部分為察合臺部屬民。

不過，無論輝特部到底起源於何方，但是毋庸置疑的是，輝特部是蒙古草原部落的一部分，由於遷徙到了林木中百姓附近的地方，與衛拉特部融合，成為衛拉特早期重要的組成部分。

原來生活在蒙古高原以北、西伯利亞以南的林木中百姓，在抵抗成吉思汗統一蒙古各部的戰爭失敗後，在首領忽都合別乞的率領下，投靠了前來征討的鐵木真長子朮赤，並從此加入了蒙古汗國，成為成吉思汗帳下重要的一支力量。

由於忽都合別乞率先臣服，再加上驍勇善戰的林木中百姓屢立戰功，因此，成吉思汗為了獎勵他們，將女兒扯扯幹公主嫁給了忽都合別乞的兒子，並將衛拉特部分為了4個千戶。隨後，頗具眼光的忽都合別乞一直致力於加強與成吉思汗黃金家族的姻親關係。

例如，除了兩個兒子娶了成吉思汗的兩個女兒之外，忽都合別乞還有一個女兒嫁給了蒙古大汗貴由汗，並在貴由去世之後對龐大的蒙古帝國臨朝稱制。而他的兩個孫女兒，分別嫁給拖雷的兒子阿里不哥和旭烈兀。

按照輝特部起源的第一種傳說，作為忽都合別乞的後裔，輝特部自然也在蒙古帝國時期擁有了相當重要的地位和實力。阿里不哥起兵反對忽必烈稱汗時，與阿里不哥關係更近的衛拉特部還曾加入阿里不哥的大軍，參與了與忽必烈的戰爭。

但是不幸的是，由於阿里不哥的叛亂被忽必烈擊敗，作為重要參與者之一的輝特部，也理所當然的受到了元朝皇室的冷落。元朝滅亡之後，輝特部不但沒能再次崛起，反而更加衰落。16世紀中葉，俺答汗就曾率領蒙古大軍進攻輝特部，殺死了輝特部首領，擄掠其妻子和兩個兒子，並佔領了衛拉特部的故地，輝特部因此被迫離開了哈剌和林。

整個明朝近300年的時間，以元朝後裔為首的韃靼和以為衛拉特部為主的瓦剌之間的戰爭從未停息。作為衛拉特部的重要組成部分，輝特部自然也參與了一系列的戰爭。

韃靼和瓦剌之間的紛爭，不是東風壓倒西風，就是西風壓倒東風。明朝後期，韃靼，也就是東蒙古諸部逐漸佔據了上風。不過，雖然屢戰屢敗，但是，被東蒙古征服後，衛拉特部並沒有屈服，而是奮起抗爭。

輝特部就曾用為蒙古汗進貢為理由，帶領250峰駱駝，以馱運大量禮物為名，實際把500名武士隱藏在駱駝兩側的掛布里，順利到達了蒙古牙帳，並果斷髮起突擊，大敗蒙古軍，輝特部甚至俘獲了蒙古汗。俘虜蒙古汗王之後，輝特部將其帶到衛拉特駐守之地，並要求他宣誓永不侵犯衛拉特，才將其放回。從這個故事中也可以看到輝特部在衛拉特部中的重要地位和作用。

然而，在與東蒙古各部的戰爭之中，大多數時候，衛拉特其實是居於劣勢地位的。輝特部受到的損失尤其嚴重，到了明末清初之際，已經被迫遷居新疆中亞一帶的衛拉特部，逐步演變為我們最熟悉的和碩特部、土爾扈特部、準噶爾部和杜爾伯特部。

這四大部的實力不斷壯大，然而，曾經是衛拉特部重要組成部分的輝特部卻日漸衰微。此時，輝特部的實力甚至衰落到已經無法成為一個獨立的部落，他們開始成為杜爾伯特部的屬民，遊牧於塔爾巴哈臺一帶。

而眾所周知，杜爾伯特部是衛拉特四部中唯一一個沒能建立屬於自己汗國的部落。當葛爾丹率領準噶爾部崛起並建立龐大的準噶爾汗國之後，同出一源並不斷衰落的杜爾伯特部大部歸附了準噶爾汗國，自然，作為杜爾伯特屬民的輝特部，在貴族們的率領下也歸附了葛爾丹。

不過，雖然成為了準噶爾汗國的附屬，正所謂瘦死的駱駝比馬大，輝特部的實力仍不容小覷，例如在葛爾丹策零所設立的21昂吉中，輝特部就佔了9個之多。

輝特部加入了準噶爾汗國之後，並沒有過上多麼平穩的生活，隨著準噶爾汗國的崛起，準噶爾汗國與清朝之間的戰爭也愈演愈烈。沒有選擇權的輝特部也毫不意外地加入了準噶爾大軍，參與清朝的戰爭。

但是，準噶爾汗國雖然並不弱，但比之康雍乾時期的清王朝，依然遠遠不如，因此，隨著戰爭的持續，到清乾隆年間，準噶爾汗國再不復之前的強盛，隨時有覆滅的危險。

正所謂大難臨頭各自飛，加入準噶爾部的杜爾伯特部開始內遷投靠清朝，而受到投清的杜爾伯特部影響，一部分輝特部的貴族們也開始陸續脫離了準噶爾部，東遷投靠清朝。

清朝乾隆年間，準噶爾汗國被清朝徹底覆滅，清廷對於四衛拉特的汗號也開始了進行重新調整。由於衛拉特四部之一的土爾扈特部遷徙到了歐洲流域，因此，實力仍不容小覷的輝特部取代了土爾扈特部，被清廷授予了四衛拉特汗號。

投靠清朝之後，雖然輝特部的實力並沒有多大的發展，但是，實力衰落已久的輝特部地位終於有了提升，再次成為了衛拉特部的重要組成部分。

不過，投靠清朝的輝特部臺吉們，對於清朝“眾建以分其勢”的盟旗制度十分不滿，在大權在握的輝特部臺吉們看來，所謂的盟旗制度與削藩無異，而這，無疑是在削弱他們的根基。因此，乾隆任命的前後兩任四衛拉特輝特部汗：阿睦爾撒納罕和巴雅爾罕先後豎起了反清旗幟，但無一例外的遭遇了失敗。

除了先是投靠準噶爾汗國，在準噶爾汗國滅亡之後投靠清朝的輝特部大部之外。由於在明末時期衰落之後，輝特部的分支很多，還有幾支輝特部選擇了不同的道路。

例如，有一支輝特部在清朝康熙年間輝特部衰落之後，並沒有選擇投靠杜爾伯特部，而是在首領第巴臺吉的率領下跟隨和碩特部來到了青海地區，併成為了和碩特部固始汗建立的和碩特汗廷的一部分。

而在雍正年間，第巴之子貢格由於反對和碩特羅卜藏丹津，率領部眾叛出和碩特汗廷，歸降了清朝，而這一支輝特部，則被清朝安排青海一帶，為此，清朝還專門設定的輝特南旗。

清朝於乾隆年間徹底完成了對於衛拉特部的統一，尤其當持續了近70年之久的清朝與準噶爾汗國之間戰爭落幕，準噶爾汗國滅亡，曾遷徙到遙遠歐洲伏爾加河流域的土爾扈特部東歸之後，曾經的衛拉特諸部徹底再次歸入清朝的統治之下。

作為衛拉特步的一部分，輝特部自然也不例外。輝特部被清朝先後安排青海、內蒙古、外蒙古等地。因此，除了和碩特青海右翼盟輝特南旗之外，輝特部組成的旗，還有賽音吉雅哈圖左翼盟輝特下後旗、賽音吉雅哈圖右翼盟輝特下前旗、呼倫貝爾盟依克明安旗、外蒙古扎薩克圖汗布扎克必拉色欽畢都哩雅諾爾盟輝特旗等等。自此，輝特部與衛拉特諸部乃至蒙古諸部一起，徹底融於清朝，成為中華民族的一部分。

明末清初，土爾扈特西遷後（土爾扈特遠走西伯利亞，後來受不了沙俄的殘酷統治，率眾東歸故土，得到乾隆的厚待）。原附屬於杜爾伯特部的輝特部加入四部行列，又組成衛拉特四部。

輝特部貴族姓伊克明安，明代末年遊牧於阿爾泰山一帶，附屬於衛拉特四部中的杜爾伯特部。土爾扈特部西遷後，輝特部遷至塔爾巴哈臺一帶，取代土爾扈特成為衛拉特四部之一。另有一支遷居青海。清代中期輝特部內附，成為外札薩克蒙古的一部。

乾隆初年凖噶爾汗噶爾丹策零死後，凖噶爾部發生內亂。乾隆十九年（1754年），輝特部臺吉阿睦爾撒納[1]被凖噶爾汗達瓦齊所敗，不得已歸附清朝，被封為親王。乾隆二十年（1755年）春，以阿睦爾撒納為定邊左副將軍，從定北將軍班第西征達瓦齊。清軍攻破伊犁後，乾隆皇帝封阿睦爾撒納為輝特汗，晉封雙親王。但阿睦爾撒納並不滿足，而以衛拉特四部總汗自居，意圖謀反。班第察覺後密奏朝廷，於是乾隆皇帝命阿睦爾撒納赴熱河朝覲。阿睦爾撒納行至烏倫古河時，藉口暫歸治裝，將副將軍印交予額林沁多爾濟，潛回塔爾巴哈臺起兵反清。朝廷派成袞札布、兆惠等前往平叛。乾隆二十二年（1757年），阿睦爾撒納兵敗，逃奔俄羅斯，不久病死。早先歸附清朝且未參與阿睦爾撒納叛亂的輝特部落，分別隸屬於喀爾喀札薩克圖汗部與杜爾伯特部。青海輝特部編為一旗，隸屬於西寧辦事大臣。