非法吸收公眾存款沒有退贓就不會考慮減輕處罰，一般判處三年以下有期徒刑或拘役加罰金。數額巨大的或者情節嚴重的處三年以上十年以下有期徒刑並處罰金。

退贓是法院處理非法吸收公眾存款案件中，在量刑時著重考慮的一個情節，如果不退贓的話，法院不會從輕處罰。至於如何量刑，需要考慮在案件中的地位、參與度、吸收存款的數額等。

對於非法吸收或者變相吸收公眾存款的行為是否立案偵查，取決於有沒有涉嫌以下三種情形中的一種：

一是從非法吸收或者變相吸收公眾存款的數額上來看，個人非法吸收或者變相吸收公眾存款，數額在20萬元以上的，單位非法吸收或者變相吸收公眾存款，數額在100萬元以上的。

二是從非法吸收或者變相吸收公眾存款的戶數上來看，個人非法吸收或者變相吸收公眾存款30戶以上的，單位非法吸收或者變相吸收公眾存款150戶以上的。

三是從造成的經濟損失上來看，個人非法吸收或者變相吸收公眾存款給存款人造成直接經濟損失數額在10萬元以上的，單位非法吸收或者變相吸收公眾存款給存款人造成直接經濟損失數額在50萬元以上的。

擴充套件資料：

非法吸收公眾存款行為包括兩種情況：一種是沒有吸收公眾存款資質的個人或法人吸收公眾存款，另一種是具有吸收公眾存款資質的法人採用違法的方法吸收存款。對於後者，依《金融違法行為處罰辦法》第十五條規定，金融機構辦理存款業務，不得有下列行為：

1、將存款用於帳外經營活動；

2、擅自提高利率或者變相提高利率，吸收存款；

3、明知或者應知是單位資金，而允許以個人名義開立帳戶儲存；

4、擅自開辦新的存款業務種類；

5、吸收存款不符合華人民銀行規定的客戶範圍、期限和最低限額；

6、違反規定為客戶多頭開立帳戶；

7、違反華人民銀行規定的其他存款行為。

《刑法》第一百七十六條　非法吸收公眾存款或者變相吸收公眾存款，擾亂金融秩序的，處三年以下有期徒刑或者拘役，並處或者單處二萬元以上二十萬元以下罰金；數額巨大或者有其他嚴重情節的，處三年以上十年以下有期徒刑，並處五萬元以上五十萬元以下罰金。

單位犯前款罪的，對單位判處罰金，並對其直接負責的主管人員和其他直接責任人員，依照前款的規定處罰。