在牆上隨意張貼小廣告是違法的，違反了《城市市容和環境衛生管理條例》。根據《城市市容和環境衛生管理條例》第十七條　一切單位和個人，都不得在城市建築物、設施以及樹木上塗寫、刻畫。單位和個人在城市建築物、設施上張掛、張貼宣傳品等，須經城市人民政府市容環境衛生行政主管部門或者其他有關部門批准。第十一條　在城市中設定戶外廣告、標語牌、畫廊、櫥窗等，應當內容健康、外型美觀，並定期維修、油飾或者拆除。大型戶外廣告的設定必須徵得城市人民政府市容環境衛生行政主管部門同意後，按照有關規定辦理審批手續。擴充套件資料：《城市市容和環境衛生管理條例》第三十六條　有下列行為之一者，由城市人民政府市容環境衛生行政主管部門或者其委託的單位責令其停止違法行為，限期清理、拆除或者採取其他補救措施，並可處以罰款：（一）未經城市人民政府市容環境衛生行政主管部門同意，擅自設定大型戶外廣告，影響市容的；（二）未經城市人民政府市容環境衛生行政主管部門批准，擅自在街道兩側和公共場地堆放物料，搭建建築物、構築物或者其他設施，影響市容的；（三）未經批准擅自拆除環境衛生設施或者未按批准的拆遷方案進行拆遷的。第三十七條　凡不符合城市容貌標準、環境衛生標準的建築物或者設施，由城市人民政府市容環境衛生行政主管部門會同城市規劃行政主管部門，責令有關單位和個人限期改造或者拆除；逾期未改造或者未拆除的，經縣級以上人民政府批准，由城市人民政府市容環境衛生行政主管部門或者城市規劃行政主管部門組織強制拆除，並可處以罰款。參考資料來源：

中國政府網——城市市容和環境衛生管理條例