霍去病18歲就有幸跟隨舅舅衛青出戰匈奴，大戰中，他率領 800名士兵斬殺了2000多名匈奴人，其中有單于的祖父，俘獲了單于叔父、相國和其他貴族官員。由此一戰成名，震驚朝野，隨後開啟了他人生開掛的5年。

霍去病出身卑賤，他的母親是公主家的婢女，和一個縣吏私通生下了霍去病。出生一年後，她的姨媽衛子夫被漢武帝帶入宮中。童年時候的霍去病雖然沒有父愛，但是有小舅舅衛青的照顧，並沒有受到多大委屈。衛青比霍去病大11歲，對待這個小外甥如子如弟。霍去病長大後對衛青也如父如兄。衛青好騎射，經常跟隨漢武帝外出打獵，因而少年霍去病視舅舅為楷模，練習騎射，耍槍弄劍。他從小沉默寡言，但他的眉宇間卻自信，剛毅，灑脫。

驃騎將軍霍去病為人寡言少語，不洩露別人說的話，有氣魄，敢做敢為。

武帝曾想教他孫子和吳起的兵法，他回答說：“戰爭只看方針策略如何就夠了，不必學習古代兵法。”武帝為他修蓋府第，讓驃騎將軍去看看，他回答說：“匈奴還沒有消滅，無心考慮私家的事情。”從此以後，武帝更加重用和喜愛驃騎將軍霍去病。

但是，霍去病從少年時代起，就在宮中侍候皇帝，得到顯貴，卻不知體恤士卒。他出兵打仗時，天子派遣太官贈送他幾十車食物，待他回來時，輜重車上丟棄了許多剩餘的米和肉，而他的士卒還有忍飢挨餓的。他在塞外打仗時，士卒缺糧，有的人餓得站不起來，而驃騎將軍還在畫定球場，踢球遊戲。

霍去病是一個勇猛、堅定、有責任感的將領，但同時也是一個有些固執和孤傲的人。他有時會因為自己的決定而得罪他人，但他的軍隊仍然對他非常忠誠。

他在戰場上勇猛無畏，為了保護士兵的生命安全，不惜孤身衝鋒陷陣身犯險，非常注重士兵的生命安全，常常在戰鬥中下令撤退，以避免不必要的傷亡。他的性格特點和處事風格使他在軍中享有很高的聲望和威望。