荀彧早年正在冀州避禍，正好在袁紹治下。荀彧屬於穎川世家，本來就是望族。

而且袁紹和曹家家世完全不可同日而語。袁紹四世三公，所謂負天下之所望，生來就是要出將入相的。曹家只是宦官之後，靠買官當了個校尉，世家是看不起曹操的，當時曹操去找善於品人的許邵，許根本就不理他，直到他拔刀發怒，才給了他個評語。當時的世家大族大都選袁紹而不是曹操。連曹操的心腹謀士郭嘉，都是先投奔的袁紹，發現袁紹實在不行，再投奔的曹操。

而且在發現袁紹不行，再投曹操之後，荀氏家族也有人在袁紹處供職，此為世家大族多頭處注的妙招是也。

荀彧出身名門望族，漢臣世家，其祖父荀淑，父親荀緄，叔父荀爽都是當時品行高尚，學識淵博的大儒，並且累世為官，荀彧年少時受家庭影響得到良好的儒學薰陶和教育，被世人稱之有“王佐之才”。 公元189年，荀彧被舉孝廉當了個小官，董卓之亂後棄官歸到了穎川郡的老家（現河南許昌），又為避戰禍受到冀州牧韓馥的邀請，荀彧帶領宗族移居冀州。可到了冀州，韓馥的地盤被袁紹吞併，荀彧見自己的弟弟荀諶和郭圖登名士都在袁紹帳下，便也投靠了袁紹。

袁紹待荀彧是不錯，以上賓之禮，但是像荀彧這類胸懷大志，出類拔萃的高階幕僚，在東漢末年的亂世都希望自己“良禽擇木而棲”，對自己投以身家性命的那位“明公”，是有一個觀察和雙向選擇的過程。 荀彧看出雖然袁紹謙遜待人，但不懂得如何用人，而且色厲內荏，志大才疏，荀彧並不看好袁紹。荀彧聽說曹操雄才大略，思賢若渴知人善任，他就離開了袁紹前去投奔曹操。曹操見荀彧來投，喜出望外，當即任命他為司馬，參謀軍事，曹操逢人便講“荀文若是我曹操的張子房”。 荀彧的每次獻計都成為曹操在戰略戰術上的精彩之筆，他幫助曹操守兗州智平叛亂，勸曹操先攻呂布再圖徐州，建設鞏固好自己在兗州的根據地。說服曹操挾天子以令諸侯，在官渡之戰前透析了敵我形勢，激勵曹操消滅袁紹。