相傳武則天在當皇帝前的一個寒冬臘月，一日忽然心血來潮，要去御苑觀花，遣使宣詔，令百花連夜開放。適逢百花仙子有事外出，無人做主，眾花無奈，只好屈從聽命。唯有“花中之王”牡丹，一身傲骨，嚴守時令，頂住不放。武則天氣急敗壞，惱羞成怒，敕令將御苑裡的四千餘株牡丹連根拔掉，貶謫洛陽。牡丹仙子不怕武則天的淫威，不慕宮廷裡的榮華富貴，忿然離開長安，到洛陽安家落戶，並把支援她、並一同遭貶的“花中宰相”芍藥也帶到洛陽來。牡丹來到洛陽後，生長的愈加枝繁葉茂，開的更加妖豔無比，楚楚動人。自此，有洛陽牡丹甲天下之稱。
古代史籍中，對武則天貶牡丹一事不乏記載。宋人高承撰寫的《事物紀源》上說：“武后詔游上苑，百花俱開，牡丹獨遲，遂貶於洛陽”。同代人計有功的《唐詩紀事》中則說的更加詳盡，書載：“唐天授元年【公元690年】臘月，卿相詐稱花發，請幸上苑，有所謀也。（武則天）許之，尋穎有異圖，乃遣使宣詔：‘明朝游上苑，火速報春知，花需連夜發，莫待曉風吹’。於是凌晨明花布苑，群臣威服其異”。
由以上記載看，事情好像發生在長安，因長安有上林苑。但《全唐詩》的註釋上則說事情是發生在洛陽，是武則天為篡奪皇位而搞的“天人感應”把戲。各書雖記載不一，但都說確有其事。聯絡當時政治情況分析，《全唐詩》的記載比較切合實際。
武則天作為一個女人，要登皇帝寶座並非一件易事，她除採取一些政治手段外，還利用人們的封建迷信思想，搞了一系列的“天人感應”事件。如她在廢中宗李顯前，其侄武承嗣偷偷使人鑿石為文，刻有“聖母臨人，永昌帝業”八字，塗成硃紅顏色，讓雍州人唐同泰獻給武則天，說是從洛水中得來的“天授神物”。武則天非常高興，稱石為天授聖圖。親率文武百官祭祀南郊“拜洛受圖”，賜名洛水為“永昌水”，洛水神為“顯聖侯”。之後，她自己先回駕明堂，讓百官朝賀，加號為“聖母神皇”。當時宮廷宮廷內外都傳言，武則天將用“拜洛受圖”的名目，改朝換代了。
武則天貶牡丹亦屬同類事件，她雖握有皇權，但要百花在寒冬臘月一朝開放，是辦不到的。如果真有其事，可能是命宮女們用綾絹做成各種花型，連夜裝在苑裡，因牡丹花大，花瓣複雜難做，故牡丹獨遲。然後寫詩傳旨，讓百官早朝時去看，在晨色蒼茫中就難辨真偽了，她想以此來懾服眾臣，使他們確信，武氏登基是天命難違的事。這樣做是完全辦得到的，因遠在隋煬帝定都洛陽時，宮女們就在秋冬之季，用綾絹作花做葉，在西苑裡人工造景，引逗煬帝遊幸。所以洛陽自古就有作絹花的傳統。
至於武則天將長安御苑中的四千餘株牡丹貶謫洛陽，可能是另一碼事。武則天做皇帝是以洛陽為都城的，為裝點洛陽御苑，將長安上林苑中良種牡丹移到洛陽來也是可能的。說她貶牡丹，倒不如說她帶牡丹更切合實際些。記載是附會的傳說，可能是把兩件事情混為一談了。
事實上，武則天在洛陽稱帝期間，正是洛陽牡丹大發展、大繁榮階段。洛陽牡丹的栽種大約始於隋朝。據宋代王應麟《玉海》所載：“隋帝（煬帝）闢地二百里為西苑，詔天下進花卉，易州進二十箱牡丹。有‘珵紅’、‘赭黃’、 ‘飛來紅’、 ‘一佛黃’、 ‘軟條黃’、 ‘延安黃’、 ‘顫鳳嬌’……。”當時只有紅、黃二色，還沒有完全脫離野生狀態。
唐武則天時期，洛陽園林極盛，宮廷有上陽宮、禁苑（原隋西苑）、山林苑。達官貴族著名的魏王泰園、太平公主園、武則天母崇國夫人園，宗楚客園等。牡丹的栽植極為普遍，花色由原來的紅、黃二色發展到紅、白、紫、粉、黃等多種顏色。同時開始出現半重瓣和重瓣花型。安史之亂時，洛陽是主要戰場所在地，宮廷、園林都遭到嚴重破壞，大批牡丹被火燒刀砍，所剩無幾。唐後期至五代時期，洛陽牡丹又有了恢復和發展。
宋代以洛陽為西京，很多達官貴人都長住洛陽，他們建宅修園，互爭高下。造園藝術在唐代寫意山水畫基礎上，更趨於完美。著名的有呂蒙正園、湖園（原唐裴度園）、司馬光“獨樂園”、文彥博園、富鄭公園（富弼）、董氏樂園和西園等。李格非《洛陽名園記》詳有記載。這時期是洛陽牡丹發展的鼎盛時期，已有一百多個花色品種，這時才真正甲於天下。
最著名的要算洛陽郊區司馬坡姚姓人家培植出的“姚黃”，和後周宰相魏仁博家培育的“魏紫”，分別被稱為“花王”和“花後”。還出現了奇特的綠牡丹。每當穀雨之後牡丹盛開季節，洛陽居民“絕煙火遊之”。宋代文學家歐陽修在洛陽任官期間，深深愛上了洛陽園林，更被多姿多彩的牡丹所陶醉，揮筆寫下了《洛陽牡丹記》，洛陽牡丹的嫵媚姿態及洛陽人愛牡丹的狂熱情形躍然紙上。他還把青州、越州、延州產的牡丹拿來和洛陽牡丹反覆比較，深為歎服地說：“是洛陽者為天下之第一也！”自此甲天下的洛陽牡丹更加馨名遠播了。
由此觀之，洛陽牡丹和其他植物一樣，有自己的成長髮展規律，並非武則天貶謫牡丹的結果。洛陽牡丹開的好，首先是洛陽的土壤氣候條件適宜於牡丹生長，正如歐陽修說的“洛陽地脈花最宜，牡丹尤為天下奇”。牡丹性寒，喜燥畏溼，凡外地牡丹移植到洛陽，都能生長得花繁葉茂，生機勃勃。第二，是勞動人民精心培育的結果。洛陽曆代都出現有牡丹專家和嫁接牡丹的能工巧匠。如《龍城錄》記載：唐代時，洛陽有一位名叫宋單父的花工，善種牡丹，能“變易千種，紅白鬥色，人不能知其術”。唐玄宗把他召到驪山，種牡丹一萬多株，爭奇鬥豔，人們都說他有幻世之絕藝。宋《墨莊漫錄》記：在宋徽宗宣和年間，洛陽又有一個姓歐的花工，在白牡丹根下培上藥物，結果第二年就開出了綠色牡丹，被稱為“歐家碧”。
在科學不發達的中世紀，人們不瞭解植物變異的規律，只能用“花神”、“花仙”來解釋。統治階級也乘機玩弄“天人感應”的把戲，武則天貶牡丹的故事，就是在這樣情況下導演出來的，並在民間長期流傳。後來，明代小說《鏡花緣》的作者，據此編寫了《秋翁遇仙記》，歌頌“牡丹仙子”不畏權貴，為人民獻美的高貴品質。清代小說家蒲松齡又據此寫成怪異小說《葛巾》。塑造了“葛巾”、“玉版”兩位牡丹仙女，不願過諂媚別人的宮廷生活，自願到洛陽下嫁常氏兄弟。在文人筆下，故事又得到新的昇華，情節更加生動，使之愈傳愈奇了。