關於氈帽的來歷，紹興過去曾流傳過一個古老的故事：相傳在越王勾踐時期，會稽山有幾個獵人相約上山打獵，打傷了一隻大老虎，老虎帶傷進穴而斃．旁邊還有剛出生的小老虎。抬虎捉虎之餘，獵人發現小老虎躺過的鍋底狀的氈塊，既結實鬆軟，又光潔暖和，原來是由吃剩的羊毛豬毛長年累月躺壓疊積而成，獵人一試感覺不錯，受此啟發，氈帽由此演化而成。但是傳說畢竟是傳說，細細考證，氈帽的歷史源遠流長。

在新疆Murano羅布泊孔雀河北岸的古墓溝出土的氈帽，經碳“測定，距今約3880年(+90年)，這說B丹在新石器時代中國的大西北就有戴氈帽的事象。《周禮註疏》卷七日：“共其毳毛為氈，以待邦事。”說明在2700多年前的周代已有用細毛制氈的生產活動。後在Murano遺址和羅布淖爾墓又有漢代氈帽出上。唐代有用白氈製作的氈帽，稱之“白題”，為三角形、高頂、頂虛空、有邊、卷簷。系漢魏時從西北地區傳人內地，隋唐廣行民間。

明代張岱在《夜航船》記述：“秦漢始效羌人制為氈帽。”這與明代會稽入曾石卿嘲人戴“鵝黃蠶繭燕氈帽”之戲言，均認為氈帽源自“羌人”和“燕地”。

在《紅樓夢》第九十幾時，忽見有一個人頭上戴著氈帽，身上穿著一身青布衣裳……”從曹雪芹的描述中，反映了清乾隆時期氈帽已是一般平民的帽飾。

光緒二十五年(1899年)，紹興有個叫潘尚升的人，從農村袍瀆搬人城區，在繁華鬧市西營口北側，使用原來生產紅氈的“潘萬盛”招牌，生產氈帽。這是紹興城區歷史上首家專業氈帽店，店堂兼作坊，在單間店門內的黑色青龍牌上，書“真不二價”四個金字，僱工三四人，年產約2000頂左右，自產自銷，每頂價格銀圓一元貳角，生意不錯。在店面兩側掛有“貨真價實”、謹防假冒”兩塊木製掛牌。遇淡季時生產一種低檔氈帽，銷往金華、蘭溪，當地婦人燒飯遮頭多用此帽，名“灰帽”，亦為一俗。

此後，城區又有二家規模較小的氈帽店先後開張，一家是板橋頭火神廟隔壁的“嚴聚泰”，一家是上大路日暉弄口斜對面的“王永興”，但均在1930年左右倒閉，部分師傅進入“潘萬盛”，自此“潘萬盛”名聲漸大。

1940年10月下旬，日寇侵入紹興，燒燬城區大善寺至水澄橋一段店鋪房屋，“潘萬盛”亦遭其難。1942年重建後，友人送去一幅老虎畫志賀，掛於店堂，老虎是氈帽徂師的傳說大概與此有關。40年代後期，陶堰有氈帽作坊5家，年產約7000頂以上，可見氈帽當時銷路不錯，頗受歡迎。紹興城區在1940年至1956年合作化前，還有設在偏門的“沈寶記”，設在馬務橋的“丁有記”，設在縣東門的“韓金記”等兼作坊的氈帽小店數家。

紹興氈帽取材為一般的羊毛，用幹泥土法脫脂後製成帽坯，加溼加熱。反覆用手工擠壓揉搓，透過縮絨的物理作用製成。以野生植物花葉果汁與皂礬染色，能不褪色。它是厚達五釐米左右的雙層無紡織物，質量以厚薄均勻、質地堅挺、厚實柔軟、牢固耐磨為上品，經久耐用，一般可戴用八年十年甚至更久，破了打上補丁還可以再用。

隨著時代的變遷和生活習俗的變化，現在戴氈帽的人越來越少，但它曾長期是紹興農民特有的帽飾，在人們心目中已經留下深刻的印象。作為頗具文化特色的烏氈帽，它與烏篷船、烏乾菜一樣，張揚著紹興的民俗文化和歷史文脈。直到現在人們一看到它，就會想起紹興這個歷史文化名城，就會產生無限遐思和美好的回憶。

相傳在越王勾踐時期,會稽山有幾個獵人相約上山打獵,打傷了一隻大老虎,老虎帶傷進穴而斃.旁邊還有剛出生的小老虎。抬虎捉虎之餘,獵人發現小老虎躺過的鍋底狀的氈塊,既結實鬆軟,又光潔暖和,原來是由吃剩的羊毛豬毛長年累月躺壓疊積而成,獵人一試感覺不錯,受此啟發,氈帽由此演化而成。