1871年中日建交以後，日本人陸續進入上海。早期來滬的日本人多數聚集在虹口吳淞路、武昌路一帶經營照相館等小本生意，或經營妓院謀生。上海公共租界當局開始在虹口區內越界築路，虹口地區被非正式地納入公共租界管轄範圍。同治十二年（1873年），日本將原日本公館（日本上海出張所）改稱為日本駐上海領事館，位於虹口閔行路3號。

光緒二十五年（1898年），原英、美公共租界改稱上海國際公共租界，日本等國開始參與租界管理工作。次年，公共租界被劃分為北、東、中、西四區，日本僑民在北區和東區佔有優勢地位。同年，日本人在虹口組織上海義勇團日本隊，作為自衛組織。1915年，公共租界內的日僑已達到7169人，人數居各國僑民之首。1915年以後，在工部局董事會中，為日籍董事留一到兩個席位。1916年，上海公共租界工部局巡捕房設立日捕股，11月20日，30名日本巡捕到位，接管虹口地區的公共治安事務。

第一次世界大戰以後，日本紡織業大規模投資上海。1923年上海—長崎定期航線開設，公共租界內的日本僑民繼續增加，1935年突破2萬人，超過外國僑民的半數。他們仍然主要聚居在在虹口吳淞路一帶，以及北區越界築路的北四川路（北段）、狄思威路等處。

1925年5月30日，五卅慘案爆發，日本藉口保護僑民，於6月9日派遣海軍陸戰隊抵滬，入駐虹口地區。1927年，國民革命軍北伐佔領上海，日軍於四川北路佈防。

公共租界的東區、北區在歷次戰亂中曾多次劃為日軍的防區。1932年和1937年兩次淞滬戰事中，日軍將該區域作為進攻中國軍隊的基地。並以海軍陸戰隊代替租界巡捕，公共租界在事實上被分割成兩部分，蘇州河以北地區成為日軍控制的勢力範圍。