對於雍正為何不願意同康熙一個陵園，坊間最多的猜測就是，雍正自覺皇位來路不正，且雍正上位後自己的一干兄弟大多都沒有一個好的結局，雍正擔心同康熙一個陵園將來會被祖宗訓斥，因此才會自建陵園。

在野史記載中雍正的繼位可謂是爭議巨大，在野史中認為雍正繼位其實是奪位，因為野史記載中康熙本來想要傳位的並不是雍正，只是雍正趁著自己的弟弟也就是康熙真正想要傳位的十四阿哥遠赴西北時，將康熙傳位的聖旨改成了傳位於四阿哥，正是因為這個原因雍正才不願與康熙在一個陵園之中，避免死後會被康熙痛罵。但是後來也證明了當時雍正應該並不是以改聖旨的方式進行的奪位，所以雍正應該並不是因為繼位的問題才不願與康熙一個陵園。

剩下的結論就是因為雍正在位期間與雍正曾經敵對陣營的皇子多數都沒有得到一個好結果，雍正奪位晚期最大的對手八阿哥，在雍正繼位後便找各種理由削去八阿哥的爵位，並將其圈禁除去玉牒。作為八阿哥最大支持者的九阿哥，同樣被除去玉牒監禁於保定備受折磨，據野史流傳九阿哥最後是中毒而死，而下令下毒者正是雍正。因此人們猜測雍正可能是因為自己過去的行為的原因，導致雍正不願意在下面受老祖宗的訓斥才下令修建西陵園。

作為兒子的乾隆雖然不願意將雍正葬入西陵園但是礙於孝道，只能將雍正葬入西陵，並下令之後的繼位者不得自修陵園。