會一直保留的；必須報所屬行政機關備案。依據《行政處罰法》第三十四條規定：執法人員當場作出行政處罰決定的，應當向當事人出示執法身份證件，填寫預定格式、編有號碼的行政處罰決定書。行政處罰決定書應當當場交付當事人。前款規定的行政處罰決定書應當載明當事人的違法行為、行政處罰依據、罰款數額、時間、地點以及行政機關名稱，並由執法人員簽名或者蓋章。執法人員當場作出的行政處罰決定，必須報所屬行政機關備案。擴充套件資料：行政處罰的相關要求規定：

1、法律、法規授權的具有管理公共事務職能的組織可以在法定授權範圍內實施行政處罰。

2、行政機關依照法律、法規或者規章的規定，可以在其法定許可權內委託符合本法第十九條規定條件的組織實施行政處罰。行政機關不得委託其他組織或者個人實施行政處罰。

3、行政處罰由具有行政處罰權的行政機關在法定職權範圍內實施。國務院或者經國務院授權的省、自治區、直轄市人民政府可以決定一個行政機關行使有關行政機關的行政處罰權，但限制人身自由的行政處罰權只能由公安機關行使。

1.透過簡易程式處理的或者案值較小的，存檔3年；

2.一般程式的案件：存檔5年；

3.重大、特殊案件：存檔20年以上。