歷史上最早記錄就是徐福攜百工和三千童男女出海尋藥，一去不返的記錄了。官方記錄唐朝是雙方交流的高潮，鑑真東渡傳播佛法，日本派遣唐使入唐學習。當然，民間一直以來都有不間斷的交往，沿海漁民之間的往來頻繁。明朝更是出現了以汪直為首的中國海盜勾結倭寇為害，劫掠我沿海省份的惡劣事件。其實，民間交往從未間斷。

這個問題太過於廣泛。其實，不同時期的中日交往情況是不同的，各有特點。而有關民間的情況記載較少，只能根據當時的概況進行簡單描述。

最早的有關中日交往的記載可追溯到秦漢時期。相傳秦始皇為求長生不老之藥，派人四處尋找仙島。而徐福就是其中一員，他可能到達了日本。日本的和歌縣新宮市有石碑，上有“秦徐福之墓”字樣。《後漢書》裡記載光武帝建武中元二年（公元57年），東漢政府與倭奴國建立外交關係。但由於這個時候還不具備從海上乘船到日本的技術條件，故從雙方使者往來多是透過北韓半島，再經過北韓海峽或沿岸航行到日本。此時的文化交流是由中國移民帶去日本，多為單向的文化輸出。

隋唐時期，是中日交往的一個高峰時期。這一時期，無論是官方使者，還是民間人士都有來中的。唐朝的繁盛國力引來各國使者，日本也想要學習唐朝，走向強盛。此時的日本正值大和時代後期，奈良時代和平安時代前期。造船、航海技術也足以實現渡海直達。所以，日本先後有十幾次派遣了大量遣唐使、留學生、留學僧來華。如著名的阿倍仲麻呂、吉備真備等。而中國也有鑑真東渡，把律宗佛教、建築、手工技巧等都帶去了日本。但從記載中可知，這時候往來中日的人還是以官方使者、僧人為主，其他的平民百姓還是相對較少的。

到了宋元時期，海外貿易空前發展，多數海上航行的路線也都要經過日本，往來的交通大大便捷。所以，這一時期的交流更加多樣化，不再侷限於官方使者、僧人，而是多了很多經營海外貿易的商人。中國向日本多出口絲織品、瓷器、藥材、書籍等，日本也把自己的水銀、硫磺、木材、珍珠等運往中國。明清時期，海禁政策的頒佈，而日本正值戰國時代，與中國的朝貢貿易並不能滿足所有勢力，故多有武士、浪人、海盜在中國沿海作案。明苦於此，直到戚繼光主持抗倭，才解決了倭患。而日本進入幕府統治之後，也學習中國實行了閉關鎖國，此後，中日交往大量減少，基本斷絕。由此可見，古代中日的民間交流侷限性較大，受戰爭情況、國家政治形勢、技術的發展、經濟的發展等多種因素影響。國家利益是國家外交活動的根本趨向，古今皆是如此。