你可以按照離婚協議書約定的內容要求男方履行相應義務。離婚時，夫妻雙方簽訂的離婚協議書經過民政部門婚姻登記處加蓋公章及夫妻簽字確認，離婚協議書發生法律效力，任何人無權撤銷離婚協議書，也不能拒絕履行協議書義務。

婚後按揭貸款買房，屬於夫妻共同財產，貸款也是共同債務。既然離婚協議書約定，購房貸款由男方負責清償，男方不得無故拒絕償還貸款。如果男方終止了貸款清償，你可以蒐集證據證明他終止還款時間，及時向法院提起訴訟。

房子貸款如果是男方名字，估計他不會隨意終止清償貸款，因為一旦終止還款，銀行就會查封房產，起訴他清償貸款或拍賣房產抵債。當然，他拒絕清償貸款，你可以代為清償，然後把代為清償貸款的證據準備好，可以起訴男方返還貸款及利息。

男方撫養孩子的撫養權，你也可以要求變更，後續孩子始終跟著女方在一起生活的，你可以起訴男方變更撫養權並支付撫養費。婚姻法規定，離婚後一方撫養孩子，另一方需要支付撫養費，除非撫養孩子一方放棄索要撫養費。

撫養費支付方式可以按照每個月支付，每個月按照男方月工資百分之三十左右計算撫養費比較合理。如果是兩個孩子都由一方撫養，撫養費一般不超過對方月收入百分之五十。沒有月收入的，可以按照年平均收入計算撫養費。

綜上所述，題主可以起訴房子歸自己所有，讓男方賠償貸款損失。孩子撫養權可以變更，也可以要求男方支付撫養費。需要到被告住所地法院，及時起訴就可以了。