中央決定保留毛澤東遺體並建立紀念堂後，選址在何地便成了反覆研究的問題。當年一些人猜測，可能會學中山陵那樣在北京西山建堂，然而最後確定建在天安門廣場。
當時由國務院副總理谷牧為主任的中央保護毛主席遺體領導小組辦公室，是總攬全域性的辦事機構。凡屬有關毛主席紀念堂的建設和遺體保護的決策性意見，均出自這個最具權威的辦公室裡。為籌劃毛主席紀念堂建設，辦公室專門設立了一個“陵墓設計小組”，後改名為“毛主席紀念堂設計組”，由當時擔任北京市建委主任的趙鵬飛和一機部副部長孫友餘掛帥。
1976年9月13日，毛主席遺體領導小組辦公室成立的當天，即電話通知了北京、天津、上海、廣東、江蘇、陝西、遼寧、黑龍江等8個省市10個單位，要求選派最有聲望的建築師、設計師、美術師和工人代表共40餘人前來北京，負責陵墓的選址和設計工作。
選址工作剛開始，便眾說紛紜，提出不同的方案。
當時選來的是一批最優秀的建築專家(國家建委建築科學院5人，北京市規劃局和建築設計院各6人，清華大學4人，上海4人，天津、遼寧、廣東、廣西、黑龍江、一機部各3人)，他們匯聚到北京後，立即成立了選址設計小組，並於9月14日投入到了緊張工作之中。
在近兩個月的選址工作中，專家們走訪了北京的有關地方，察勘了多處名勝古蹟所在地，先後對香山、景山、北海、中南海、天安門廣場及其北部一帶等十幾個地點作了重點調查研究，並先後提出了各種方案和設想。
選址設計組的專家們，首先想到的是毛澤東南征北戰、辛勤操勞一生，理應在風景秀麗、環境優美的地方建造陵墓，讓他老人家能夠安眠靜息。為此，他們設計出“水上日出”方案：浩浩碧波，霞光絢麗，一輪紅日，躍出水面，光焰萬丈。為此，專家們來到中南海、北海、昆明湖……走了一水又一水，尋找著合適的水域。
中南海是毛澤東長期居住過的地方，又是新中國成立之後，中共中央和國務院的辦公地點。中南海里一泓碧水，微波盪漾，岸柳成行，綠草如茵，亭臺廊榭，風景秀麗。有人主張將主席陵墓建在瀛臺小島上，然而中南海是全國最高領導中心和國際友好交往的重要活動場所，陵墓建在這裡會有每日數萬人前來瞻仰，勢必會影響到此處的黨務和國務活動。再者，瀛臺是當年慈禧太后囚禁光緒皇帝的地方，將毛主席陵墓建在此處也不合適。
北海、頤和園雖然不是中央辦公地點，但公園畢竟是人民假日休憩、遊玩放鬆的地方，在此修建陵墓與整個環境和氣氛顯然不符。
有的專家提出了“山頂紅星”方案，併為此又去攀香山、景山、玉泉山，走過了一山又一山。
香山方案曾一度被看好。中共中央於1949年3月由河北省平山縣遷至北京後，香山曾是毛澤東居住過的地方，直至同年秋天才遷往中南海。毛主席在香山雖然只住過短短几個月，卻在這裡指揮了震驚中外的渡江作戰，商討和確定了建國大計，擬定和發表了《南京政府向何處去》、《向全國進軍的命令》、《丟掉幻想，準備鬥爭》、《論人民民主專政》等一系列綱領性文獻。除歷史地位重要之外，在此仿照氣勢巨集偉的南京中山陵，依山而建毛主席陵墓，同樣可以獲得“高山仰止，景行行止”之效果。然而，香山雖有山勢險峻、氣勢開闊、景色秀麗、環境幽雅之長，卻距北京城較遠，給群眾帶來不便。
景山公園與中南海、北海這些皇家園林，共同構成了北京城內最優美的風景區，也是北京過去城內的最高點。站在景山主峰的萬壽亭上，天氣晴朗時，不僅可以環視北京全城，還可以俯看世界上規模最大的宮殿建築群——故宮。景山雖位於整個京城的中心位置，但卻距離政治中心天安門廣場較遠，也顯偏僻。
當依山依水的各種方案紛紛受到質疑後，選址設計組的目光，便自然而然地聚集到了天安門廣場。
天安門以北的方案，是把陵墓建在位於南北中軸線上的天安門之北的端門位置上。提出此方案的專家認為，當黨和國家領導人在天安門城樓檢閱隊伍時，遊行的人群面向天安門，同時也向著偉大領袖毛主席。在此修建陵墓，不僅不涉及房屋拆遷問題，還有現成的公園樹木可以利用。此案的缺點是，陵墓藏在古建築群中，而且被高大的天安門擋住，廣場上的群眾根本看不到它。
在選址和設計工作加緊進行的時候，黨中央在粉碎“四人幫”的第二天，即1976年10月8日作出了在首都北京建立毛澤東主席紀念堂的決定，正式宣佈“在紀念堂建成以後，即將安放毛澤東主席遺體的水晶棺移入堂內，讓廣大人民群眾瞻仰遺容”。這一決定的發表，立即引起了全國人民的熱烈反響，人們開始關注毛主席紀念堂何日建成，也促使紀念堂設計小組加快了自己的工作程序。
選址設計小組的專家走遍了京城內外，仍沒能找到最理想的地方，心中也不免焦躁起來。
正當選址一籌莫展的時候，谷牧、顧明等領導多次參加現場勘察，親自主持召開座談會，討論選址和設計方案，廣泛聽取了多方面的意見，並就一些重要問題給予了明確指示。顧明耐心啟發小組成員說：“毛主席在《蝶戀花·答李淑一》詞中寫道：‘我失驕楊君失柳，楊柳輕直上重霄九’。烈士們到月宮裡，吳剛捧出桂花美酒，過著寂寞生活的嫦娥也萬分激動，在碧海青天舒袖起舞……”
領導的啟發，給選址設計組的全體人員，指明了選址和設計的方向，引導他們徹底跳出陵墓的概念，擺脫了悲哀的調子。山重水複疑無路，柳暗花明又一村。通過對眾多方案的反覆比較和論證，設計組最終將目光鎖定在天安門廣場。
天安門廣場曾經是中國人民反帝反封建的五四運動的發祥地，坐落在廣場北端的金碧輝煌的天安門城樓，已經成了我們偉大社會主義祖國的象徵。1949年10月1日，毛澤東與其他黨和國家領導人登上天安門城樓，向全世界莊嚴宣告了新中國的成立，親手升起了第一面五星紅旗。之後，毛主席曾多次在這裡檢閱過群眾隊伍，檢閱過人民軍隊……早在解放初期，毛澤東、周恩來就提出，將來要“讓天安門廣場建成人民最喜愛的地方”。解放以來，天安門廣場經過3次大的整修擴建，已成為全世界最大的廣場。
可見，天安門廣場是一個政治、文化活動的中心。毛主席紀念堂建在天安門廣場上，與光彩奪目的天安門城樓、廣場中央的人民英雄紀念碑、莊嚴的人民大會堂和壯麗的中國革命歷史博物館，形成了一個完整的巨集偉建築群體，使天安門廣場的政治內容更加鮮明突出，雄偉壯觀。
總之，設計組的同志認為：毛主席的偉大身軀，只有安臥在人民群眾之中，才是最合適的地方。
11月6日，中央政治局聽取紀念堂選址等問題的彙報後，作出了“毛主席紀念堂建在天安門廣場人民英雄紀念碑南”的決定。
範圍雖已縮小到天安門廣場及紀念碑以南，專家們仍提出了3個方案：
一、與紀念碑接近的方案，即紀念堂緊靠紀念碑。此方案會使兩個不同內容的紀念物形成一個整體，從而失去各自獨立的政治含義。
二、與正陽門接近的方案，即紀念堂緊靠正陽門。此方案不妥之處在於，正陽門城樓高42米，會有壓倒紀念堂的感覺。
三、天安門廣場最南端的方案，即建議拆除正陽門，將紀念堂建在正陽門的位置上，與廣場北端的天安門遙遙相對。但這將使紀念堂緊鄰喧鬧的大街，與其莊嚴肅穆的氣氛顯然不符。
在3個方案爭論之時，又出現了正陽門城樓的存廢問題。這座北京現存的且保持完好的城樓古建築，與天安門城樓南北遙遙相對，不僅豐富了廣場南面的輪廓線，而且起到了分隔前三門繁華區的“影壁”的作用。這樣，在決定不拆除正陽門的前提下，最終決定將紀念堂建在紀念碑與正陽門之間的正中位置上。
最後確定的選址，實際上就是原“中華門”的位置。這個位置處於天安門廣場的中軸線上，使得紀念堂和天安門城樓遙遙相對。又由於毛主席紀念堂的體量相對較小，把它建在人民大會堂和革命歷史博物館兩大建築之間，宛如“眾星捧月”，更加突出了毛主席的偉大形象，更加充分地表達出毛主席紀念堂的重大政治意義。
紀念堂的設計工作與選址工作，幾乎是同步進行的。這實際上是一個問題的兩個方面。特定地點的周圍環境，制約著建築的形式與佈局，因此，專家們在選址的同時，也在研討著各種形式的建築方案。由於時間太緊迫、太寶貴，他們往往是白天到現場勘測，夜晚回來考慮設計方案，駐地的燈光經常徹夜通明。
在最初產生的建築設計方案中，大多繪製的是陵墓形式，有墓有廓，陵寢結合，並以實體為主，基本上沒有柱廊。即使有柱廊，也多采用短而粗的柱墩；有的則以短柱托起大塊方形的花崗石實體，上面覆以黨旗。還有的以延安窯洞或五角星為主題。而在設計瞻仰廳的構思上，大都佈置在地下或半地下。經過討論，大家認為這些方案都過於陳舊，不能很好地來體現偉大領袖毛主席的光輝一生。
谷牧副總理審閱後指出：在考慮毛主席紀念堂設計方案時，要注意和剝削階級統治者的陵墓建築劃清界限。剝削階級和勞動人民是對立的關係，他們的陵墓建築，總要顯示他們是神聖不侵犯的統治者。因此，從外國的金字塔，到中國的地下宮殿，都給人以陰森壓抑之感。而現在我們是要設計建築一座紀念無產階級革命家光輝一生的紀念堂，它既要莊嚴肅穆、又要雄偉開闊。
顧明也提醒大家：毛主席是我黨我軍我們國家的締造者，是當代最偉大的馬克思主義者，受到全國全世界人民的崇敬與愛戴，要從建築整體來體現。蘇聯的列寧墓以及保加利亞和越南的，都相差不多，上邊是檢閱臺、接見廳，這是否合適？我們要有創新，要結合中國歷史，要有時代精神。
所有這些，都給設計者以啟迪，他們又設計出多種型別的方案：
第一類是柱廊式方案，採用周圍列柱，柱廊兩端為實牆，列柱中間嵌以實牆等等。柱廊式方案氣勢挺拔有力，層次分明，富有表現力。
第二類是群體式，使紀念堂為一組建築群，外輪廓線飽滿，氣勢壯觀。
第三類仍是無柱廊式的方案。
1976年10月下旬，方案設計進入了第二階段，八省市的設計人員分別回各省市徵求意見。在京單位則有北京市規劃局、北京市建築設計院、清華大學建築系、中央工藝美術學院、北京建築雕廠的建築設計專家和部分建築公司的幹部、技術人員、工人蔘加，組成了設計組。設計組通過開座談會、個別徵求意見、請有關人員廣泛評論後認為，柱廊式方案不僅與天安門廣場四周建築——人民大會堂、歷史博物館等相協調，而且容易做到莊嚴、肅穆、美觀、大方。因此，其他型別就沒有再發展下去，而集中力量研究探討柱廊方案。在分析柱廊方案的基礎上，對影響大體型的屋頂形式提出多種設想。為了保持中國紀念性建築的傳統形式，臺基採用分層。為了從天安門廣場任何一個角度，都能看到比較完整的紀念堂，體型採用了正方形。
當年曾參加選址和方案設計工作的華德潤(原基建工程兵科研設計院副院長)，在其撰寫的《三十個日日夜夜》回憶文章中寫道：
1976年初秋，人們的心情格外沉重，我們的祖國蒙受了巨大的不幸，繼敬愛的周總理逝世不久，毛主席又離我們而去。為了永遠紀念我黨我軍中國各族人民的偉大領袖毛主席，黨中央、全國人大常委會、國務院和中央軍委決定在首都北京建立毛主席紀念堂。
當年9月末，我奉上級指示，帶兩名政治、技術條件都好的工程師去前門飯店集中參加毛主席紀念堂的規劃設計工作。全國26個單位多所大學。14個設計、研究院、所和6個委、局、廠)選派出59人組成規劃設計組，由北京市趙鵬飛副市長負責，其中有很多人是全國聲譽很高的設計大師和建築界的權威人士。
趙鵬飛副市長向全組人員傳達了黨中央關於建立毛主席紀念堂的決定，要求參與設計的全組人員，竭盡全力在最短的時間內完成方案設計報中央審定。會後，以單位或地區劃分了若干小組，立即開展工作。3天后交出了第一輪方案，經過全組評議後再做第二輪。這裡的工作是不以白天黑夜為界限的，只有一日三餐是正點開餐，其餘的時間就完全投入到設計中去了。困了就睡一會兒，醒了就再畫。南京工學院楊庭寶教授、上海民用建築設計院陳植總工程師、陝西第一設計院洪青總工程師都已年過古稀，他們也都親自動筆徹夜不眠的繪製方案。人們的眼睛都是紅絲一片、就是在就餐中也是邊吃邊交換設計中的意見。第一輪的方案，比較多的有類似天壇式的圓頂建築，有太廟式的大坡屋頂。但經過三輪評議後，大家的方案就有些近似，意見趨向一致，一個高臺階、高柱、頂的方案被大家接受了。因此，可以說毛主席紀念堂的設計方案是名副其實的集體創作。
11月6日，中央政治局集體審查紀念堂設計方案。幾種各具特色的建築模型，擺在了有關領導人面前。他們一面聽取著有關人員的彙報，一面注視著眼前的建築模型，議論著各種方案之長短……
這次集體審查確定了以下三個問題：
第一，紀念堂就正式建在天安門廣場南部——原“中華門”的位置上，即人民英雄紀念碑以南、正陽門以北。
第二，基本上肯定了三種設計樣式，要求再作修改後，正式報中央審定。同時提出，紀念堂一定要設計得堅固適用，莊嚴肅穆，美觀大方，有中國自己的民族風格；要方便群眾瞻仰，利於遺體的長期保護。
第三，這項工程意義重大，時間很緊，要精心組織、精心施工。
此後，國務院“九辦”和紀念堂設計小組，又經過多次討論、修改，於11月12日報經中央審定，正式確定了紀念堂建築方案。用他們的內部話來說，就是“綜合方案”。這個方案確定紀念堂的建築形式為正方形，八開間，重簷屋頂，兩層紅花崗石臺基，繞以漢白玉欄杆，廊柱為正方形抹小角。總高度為33.6米。
一個選址恰當、造型雄偉、符合需要、獲得各方滿意的方案，最終被確定了下來了。
毛主席紀念堂的設計，是貫徹黨的群眾路線的豐碩成果。曾擔任過紀念堂工程設計小組領導成員的沈勃，回憶當年參加總體設計時的情景，至今仍興奮不已。他在《參加毛主席紀念堂建設回憶》一文中寫道：
我懷著無限悲痛的心情，和趙鵬飛等同志聽完谷牧同志傳達中央關於修建毛主席紀念堂的決定和要求，長時間無法使自己平靜下來。此時，我禁不住想起過去為毛主席設計中南海住宅的情景，想起為他老人家建設北戴河休養建築的情景，他老人家的音容笑貌歷歷在目。而現在要建設的卻是和毛主席永別的工程，心中感到非常難過。
當時，對這個工程的概念，我一時還摸不著邊際。我是瞻仰過列寧墓的，但毛主席紀念堂的建設要求，顯然是複雜得多，艱鉅得多。若是周總理還健在的話，他一定會領導大家把這個工程建得十分完美，讓毛主席雖死猶生。但是，周總理先故去了，毛主席又離開了我們，“四人幫”還在那裡橫行，也許會更加肆無忌憚，或許會對紀念堂工程亂加干擾，一時百感交集，思慮萬千。
像建設人民大會堂一樣，對毛主席紀念堂這座全國人民關心的重要建築，首先是請全國著名建築專家來京進行方案探討。
經各位專家和有關領導研究，最初提出的修建地點有三個：一是香山，二是天安門廣場，三是景山。起初，大家提出的方案，香山和景山方案的建設規模都很巨集大，天安門廣場方案的建築體形也很龐大，這是完全可以理解的。當時大家衷心懷念毛主席對中國人民的偉大貢獻，認為只有巨集大的建築才能體現毛主席的偉大和崇高。有的建築方案几乎把天安門廣場南半部全部佔滿了，有的方案建築面積達十幾萬平方米。
在所有專家當中，只有南京工學院楊庭寶教授提出的方案，是50米見方二層高的建築。楊庭寶教授冷靜地考慮了天安門廣場的整體環境，考慮到紀念堂應該是天安門廣場的有機組成部分，建築規模合理，才能突出紀念堂的光輝形象，使它千秋萬代閃耀著光芒。楊教授所作的方案，給予我們以很大的啟示。
在全國著名建築專家提出方案離京之後，留下有清華大學、西安設計院、建工部設計院、北京市設計院的教授和建築師，負責綜合各方案之長，提出實施方案。但是，當時有關地下工程保密很嚴，建築師們不了解；紀念堂除群眾瞻仰活動外，還可能有些什麼活動，一時誰也說不清；還有，紀念堂的管理工作、遺體保護、警衛工作等，既要十分有效地進行，又要適當隱蔽，不能干擾瞻仰這個主題，佈置相當複雜，各位建築師一時都感到難以下筆。當時負責施工的總指揮李瑞環同志焦急萬分，因為設計方案不定，一切將無從下手，他一天催幾次，讓我們儘快拿出實施方案。趙鵬飛同志和我也急得直冒火。
在這種情況下，經和趙鵬飛同志商議，由我動手，在各位教授和建築師研究的基礎上，綜合大家的意見，用了一整夜的時間，勾畫出紀念堂實施方案草圖。第二天天亮的時候，交給北京市建築設計院方伯義建築師畫出了正式方案。這個方案是65米見方的平面，後來經大家進一步研究修改，增加了警衛和管理用房等，平面增大為72米見方。經谷牧同志請示葉劍英、華國鋒同志，紀念堂工程實施方案就這樣確定下來。接著，下一步的設計工作和挖槽工作也就開始了。
在進行紀念堂總體設計時，有人提出一個問題，就是紀念堂的正門朝北，如果在天安門廣場進行群眾集會時，群眾都面向天安門，背對紀念堂，感到這樣似乎不妥。
經大家研究，認為這的確是一個問題。但怎樣解決呢？大家一時想不出好主意。後來，還是趙鵬飛同志提出一個想法，就是把紀念堂庭院的東西兩側向裡收縮，使兩側廣場面積擴大，一旦舉行群眾大會，在紀念堂東西兩側和南北方向都有群眾環繞，這樣就形成了毛主席在群眾之中，背向問題也就解決了。這個意見很快為大家所接受，把紀念堂庭院東西兩側各向裡壓縮20米，成為現在的這種格局。
1976年9月18日下午，黨中央在天安門廣場舉行《偉大領袖和導師毛澤東主席追悼大會》，群眾隊伍就是這樣佈置的，效果很好。