Можно ли лишить бывшего мужа, который перестал платить алименты, родительских прав?

Здравствуйте, я развелась с мужем в мае 2012 года, не живем с ним вместе с марта 2011 года. Ребенку 5 лет, то есть на момент, когда он ушел из семьи, сыну было 2 годика. Когда мы были еще в браке, у него появилась другая женщина, которая тоже родила ему ребенка. Алименты он платил мне все это время из-под палки, а сейчас вообще отказался их платить. Сейчас я замужем второй раз. Второй муж воспитывает моего ребенка с трех лет и готов его усыновить, ребенок другого отца и не знает. Первый муж перестал платить алименты и заявил, что готов их платить, если я разрешу ему встречаться с сыном. Я не хочу ломать психику ребенка. Могу ли я лишить бывшего мужа родительских прав (участия в жизни и воспитании ребенка он никогда не принимал)?