白話亦稱廣府話，是春秋戰國時期楚人與百越人融合的一種漢語方言，曾經作為官話流行嶺南。而客家人是嶺南後來的族群。公元1733年，清廷割潮州三縣惠州兩縣新設定嘉應州（今梅州），用於安置閩西閩南的客家人。客家人才大規模進入廣東。同時，由於珠三角廣府人抗清復明鬥爭激烈，遭到清皇康熙的瘋狂屠殺，造成十室九空的慘狀。到同治年間，清迋被迫招人到珠三角墾荒。客家人開始大批遷徙珠三角。後來就發生了慘烈的“土客械鬥”。

清廷利用這次大規模械鬥，繼續鎮壓太平天國運動，剿滅太平軍戰士。時而挑唆廣府人，時而哄騙客家人，使雙方械鬥規模越來越大，積怨越來越深，從殺死幾人到整個村大屠殺。據清同治《廣州府志》載，“土客械鬥”持續近50年，死傷逾百萬。後來，清廷畏於廣府人的勢力，將客家人分門別類安置到西江流域和沿海臺山，陽江等地區。還有一部分客家人被遣送回贛南，閩西，粵東等原籍。終於結束這場曠日持久的民糸鬥爭。

散佈在沿海粵西的客家人也只得“到鄉隨俗”，學講廣府話。於是這些地區的客家話與白話相似度高。而其他地區的客家話與白話仍然明顯差別。