其實魔戒三部曲（包括前傳霍位元人）並沒有完整描述五巫的來歷和去向，只是在對話中（有些在附錄裡）有所交代，白袍薩魯曼是法力最強但也是嫉妒心最強的巫師，最早抵達中土，也是惟一一個自願承擔推翻索隆任務的邁雅，他同其他兩位藍袍一起在灰港登陸，並深入中土，但在大約1000年後他獨自迴歸，其他兩位巫師則不知去向。普遍認為這兩位巫師在盧恩內海附近消失，但是原因一直說不清，很多人認為他們已經遇害。灰袍甘道夫和褐袍瑞達加斯特是最後抵達中土的，甘道夫自己也說已經忘記了其他兩位藍袍巫師的名字。薩魯曼和甘道夫的故事三部曲已經交代的很完整了。至於褐袍，書後也沒再提到他的去向，但有線索，薩魯曼和甘道夫都說過（措辭可能不同）褐袍迷戀中土的動物和植物，並且喜歡抽菸，大概腦子已經糊塗了，所以他大概已經忘記了自己來中土的任務，所以他大概一直流連在中土某處研究生物學。但他畢竟沒有犯錯，不像薩魯曼那樣被拒絕回到維林諾，褐袍在很多場合還是起到至關重要的作用的，所以一旦他想回歸西方，他還是可以找到航線的。

在後來的《未完成的故事》裡給其他兩位藍袍填了坑，起碼知道了名字和來歷。