1985年12月，葉利欽出任莫斯科市第一書記。

在此之前，葉利欽雖然已是蘇聯最高蘇維埃主席團委員之一，卻只是個建築部長，並沒有多大實權。

戈爾巴喬夫把葉利欽調到莫斯科這個關鍵位置，原因是原書記格里申資歷太老，又是個遠近聞名的強硬派，對他的改革一直不贊同。

葉利欽時年54歲，以雷厲風行著稱，戈爾巴喬夫的想法是以葉利欽為一把快刀，大刀闊斧清除格里申的影響，以推進他的改革——格里申在莫斯科第一書記的職務上工作了近20年。

葉利欽上任之初，確實不負戈爾巴喬夫的期望，在一年多時間裡撤換了33個區委第一書記中的23個，他說：我認為那些長期與格里申共事的人一定要撤換下來，這些官僚們都已染上了停滯時期的壞作風，這些作風在人們的思想中已根深蒂固，因此靠再教育是不可能的，只能進行撤換。

上任一年多，戈爾巴喬夫和葉利欽的合作是比較愉快的，戈氏還稱讚他：你吹來了一股清新而強勁的風。

但同時，葉利欽經常微服私訪，瞭解民情，為解決市民生活困難想了不少辦法，這也讓他更多地瞭解了蘇聯制度的一些弊端，他的思想開始變得激進，不僅僅滿足於戈爾巴喬夫的經濟改革。

逐漸，葉利欽和戈爾巴喬夫以及政治局的多數成員開始發生分歧，而且愈來愈明顯。

但在當時，葉利欽並沒有反對蘇聯，還是把希望寄託在戈爾巴喬夫身上。

直到1987年9月，葉、戈首次發生了公開衝突。

葉利欽發飆了，他“提了大約20條意見，並且每一點都是十分有分量的。”

戈爾巴喬夫相當不滿，當場拂袖而去，離開後想想氣不過，過了30分鐘又跑回來發言懟葉利欽。

他批評葉利欽：把莫斯科搞得一團糟，所有人都圍繞他轉，好批人等。

戈爾巴喬夫自己提倡的是民主化、公開化，因此葉利欽毫不示弱，當場表示：我不接受，因為它們帶有個人的偏見成分，並且表達方式也讓人無法接受，並反擊戈爾巴喬夫“存在好大喜功的毛病。”

兩人不歡而散後，沒過幾天，葉利欽就給戈爾巴喬夫寫了一封長信提出辭職。但由於十月革命節將至，戈爾巴喬夫並未批覆，他打電話給葉利欽表示過點時間再談這個問題。

當然，辭職並不是葉利欽的真實想法，這是他的一種試探。

在10月21日，葉利欽再次發起了尖銳的挑戰。他沒有提到戈爾巴喬夫，點名批評的是蘇共中央書記利加喬夫，批評利加喬夫搞個人崇拜，工作方式沒有任何變化，浪費了兩年的時間。

當然，明眼人都看得出來，葉利欽的真正批評物件直指戈爾巴喬夫。

葉利欽又說自己“在政治局的工作沒搞出什麼結果”，是因為“缺少外界的支援，尤其是利加喬夫同志的支援”，所以他要求解除自己政治局候補委員的職務。

葉利欽的挑戰遭到群起反擊，連他自己身邊的熟人也上臺批評他，認為這是“背叛行為”。

葉利欽最後不得不服軟，表態自己從來沒有動搖過對改革的態度，自己的發言給大家帶來了麻煩，這是錯誤的。

戈爾巴喬夫順勢讓葉利欽再考慮一下退休宣告，戈氏並不是傻子，他這招也是以退為進。此時葉利欽已無法立足，他在11月3日來信要求繼續原職工作，但被政治局多數委員拒絕。

在此期間，還傳出了葉利欽用剪刀劃破腰部要自殺的訊息，但政治局並不為所動，還是解除了他莫斯科第一書記的職務。

1988年1月，葉利欽被任命為國家建設委員會第一副主席，2月，又被解除了政治局候補委員職務。

本來到這裡，葉利欽的政治生命幾乎宣告終結了。

但是事情出現了反轉。

因為戈爾巴喬夫正在強調民主化、公開性、反保守、反特權，葉利欽不過講得更明白、更坦率、更尖銳。因此，他就格外引人同情，突出了他遭受迫害的形象。

對戈爾巴喬夫和蘇聯不滿的人，把葉利欽視為英雄。

背後的實際原因還是在於蘇聯的經濟形勢並沒有得到實質性好轉，戈爾巴喬夫的改革沖垮了消費市場，反讓經濟形勢惡化，市民購物困難，許多東西需要徹夜排隊購買。人民對戈爾巴喬夫的信心動搖，與他針鋒相對的葉利欽自然就得到了支援。

戈爾巴喬夫對葉利欽越壓越堵，對他的同情反而越來越多，葉利欽的威望反而更高。

對葉利欽處理問題抗議的來信向巨浪一樣湧來，不少基層主動推選葉利欽為代表，還有人揚言以罷工相威脅。

壓力之下，戈爾巴喬夫不得不變通處理，為葉利欽謀得一個名額，讓他得以參加蘇共第19次代表大會。

葉利欽這時小小地翻了個身，他卻從中得到了啟發。

在會上，他繼續自己尖銳的態度，甚至在申請發言而沒有得到迴音時，挑戰式地衝上臺去主動發言。

當然，葉利欽的發言一如既往地尖銳，也繼續遭到群起圍攻。

但越是這樣，葉利欽“受壓迫的衛士”的光環就越耀眼，戈爾巴喬夫不得不和稀泥，不敢正視葉利欽激進的思想和言論，他表示葉利欽的發言“在很大程度上同報告和辯論是一致的。”

蘇聯電視臺對大會代表進行採訪，有一半人同情葉利欽，更別說莫斯科的市民。

給葉利欽的慰問電報、書信“足以幾口袋、幾千斤來計算，它們來自全國各地、最遙遠的角落。這簡直成了全民的支援，令人難以置信。”

受到如此鼓舞，葉利欽振奮精神，決心繼續幹下去。

在這個時期，葉利欽至少還是維護蘇聯的，雖然批評強烈，但至少在表面上，他的立場還是站在維護蘇聯上。

但是，由於戈爾巴喬夫和其領導核心的應對不當，促使葉利欽公開樹立起與蘇共中央對抗的旗幟。蘇共的威望越低，面目越黑，他的威望就越高，光環就越亮。

這樣的葉利欽繼續走下去，逐漸就成了戈爾巴喬夫對立面的一個化身，就離他當初宣誓的事業越來越遠了。

多年以後，戈爾巴喬夫在回憶錄中明確談到了自己的失誤：

戰略上沒有更早、更快和更強硬地實行改革，戰術上則沒有抓住機會“把事情做絕”。

“把事情做絕”，所指的正是葉利欽。如果在1987年那次公開衝突時，戈爾巴喬夫更果斷一點，“把事情做絕”，葉利欽就幾乎無法翻身了。