霍去病的母親是是平陽公主府的侍女，父親是平陽縣的小吏霍仲孺，霍去病是他們兩個私通所生。

霍仲孺回平陽侯國後另娶妻生霍光，和衛少兒也不再來往。

——他們倆兄弟是同父異母兄弟

元狩二年（前121年），霍去病拜驃騎將軍之職，在出擊匈奴的途中，被河東太守出迎至平陽侯國的傳舍，並派人請來霍仲孺與之父子相見。

霍去病替霍仲孺大量購買田地房屋和奴婢後離去。霍去病此次出征凱旋時，再次拜訪霍仲孺，並將異母弟弟霍光一起帶到長安照顧。

霍光當時年僅十多歲，在霍去病的幫助下，先任郎官，隨後遷任各曹官，侍中等職位。