這個岳飛拋棄髮妻的事是真實的，但是不怪岳飛，岳飛當年20幾歲娶了妻子劉氏，後來生下了岳雲和嶽雷，岳飛就去參軍抗擊金軍了。後來由於戰亂劉氏和岳飛的母親帶著兩個孩子和岳飛失散了。這時候劉氏吃不了苦，在路上拋棄了岳母和兩個孩子自己走了，岳飛多方尋找，也沒找到劉氏，後來找到了孩子和母親，為了照顧年幼的孩子，岳飛再次娶了妻子。哪知道九年後的一天，韓世忠告訴岳飛他妻子回來了，岳飛對劉氏恨之入骨，但也是給了她錢，讓她離開了。韓世忠認為岳飛人品有問題，才去皇上那彈劾他，後來皇帝和岳飛對韓世忠說明了真相，韓世忠和岳飛重歸於好。

這個事的背景是這樣的——

岳飛有一次派遣部下使者去韓世忠這裡送信，得到回信將要回來的時候，韓世忠對這個使者說：“你回去告訴對嶽宣撫（岳飛當時的官職是宣撫使）說，他有結髮之妻，現在在我這裡嫁給了一個押隊（中下級軍官）為妻，可以派人來把她接回去。”

岳飛的使者回去後，把韓世忠的話密報給岳飛，岳飛不回答。

韓世忠便把此事上奏給高宗趙構，岳飛回奏：

當初我踏著冰雪渡過黃河的時候，留下妻子侍奉老母，沒想到妻子兩次改嫁，我切骨恨他，已經派人送去錢五百貫，以幫助其財用上的不足，（這是）怕天下不知道原因（罵我負心薄倖）。

高宗趙構這才無話。

韓世忠上奏此事嚴格來說不算是彈劾，但是有點嚼舌根說壞話的意思，推測其原因，或許第一韓世忠覺得既然是結髮之妻，岳飛應該把她接回去，現在不接他不認同；第二接不接的總要有個回話給自己，岳飛不理不睬有點不給自己面子。

史料沒有記載趙構的反應，但是後來岳飛既然回奏，肯定有一個類似讓岳飛“明白回話”的指令。

從岳飛的角度，對韓世忠可以不解釋，對皇帝必須要解釋。他也說了自己的理由：

1、髮妻在危難時候背叛自己，撇下老母，自己無法原諒——岳飛髮妻劉氏是岳雲、嶽雷的母親，所以同時也拋下了只有幾歲的兩個親生兒子。

2、自己在金錢上接濟了髮妻，這是怕自己顯得絕情貽天下人口實。

總之，韓世忠可能因為自己的道德觀念以及岳飛與其溝通不暢而上奏，有指出岳飛這樣不對的意思，岳飛針對此事對趙構做了相關前因後果的解釋，為自己的行為辯解，趙構也沒幫著岳飛說話，只是在岳飛解釋後理解了岳飛，不再盯著此事。

這事間接反映出韓世忠當時對岳飛不是很友善，同理心也不夠，而岳飛不給韓世忠回話也顯得有點失禮，這也是矛盾激化的原因。

岳飛對拋母棄子背夫的髮妻有恨意也正常，不過不管是因為他所說的怕物議還是畢竟念及是自己兒子的母親，他給了五百貫這筆數目不小的錢，算得上是做得很漂亮了。