不論是婚生還是非婚生，孩子與父母的血緣關係不變，父母子女關係不變。撫養孩子是父母的義務也是責任，任何一方都應履行義務丶承擔責任。

根據你描述，孩子一直都是由你撫養，男方還是在被起訴的情況下拿了一年的撫養費，這個父親做的是有點不夠格。但深層次問題沒有弄明白，是當初他就不願撫養孩子呢還是你不給不讓撫養孩子呢？如果一開始他就不願撫養，再根據平時不付撫養費的情況，就說明他不關心和愛護這孩子，況且你也養了五年了，改變孩子業已適應的生活環境明顯不利於孩子的身心健康成長。從這個意義上說，男方變更撫養關係勝算的可能性是不大的。

若男方一開始就願撫養這個孩子，而是你不願讓他撫養，現在他又要求變更撫養權，說明他的內心是有這個孩子的。從法律上講哺乳期以後的子女哪方撫養都可以，主要考慮哪方撫養更有利子女的身心健康的一方撫養。

如果你現在確有不利於子女身心健康的情況的話，男方要求變更撫養關係也是應當允許的。大致上說可以變更撫養關係的條件有以下幾個方面：

(1)，一方因患嚴重疾病或因身體傷殘無力繼續撫養的；(2)，不盡撫養義務或有虐待行為的；(3)，十週歲以上的子女確願跟隨另一方生活的(4)，其它可以變更撫養關係的情形。

另外，象經濟條件發生重大變化丶收入情況發生重大變化丶經濟變更居任地丶長期存在不良嗜好丶工作方式發生大的變化等，都可作為對子女身心健康確有不利影響的參照。

如果你有以上情況的話，男方的主張就有可能得到認可。

打官司主要是得有證據，你所要做的就是組織能證明你撫養明顯有利於孩子身心健康的證據，依證據為依託，以法律為準繩，據理力爭，維護自己和孩子的合法權利。如果你在這方面不熟悉的話，建議還是找個律師代你組織證據和參與訴訟，這樣你會輕鬆許多，勝訴的機會也更大一些。