Выделили деньги на строительство дома. Не хотим подписывать документы

Добрый день! Мы живём в глухой деревне в куйтунском районе иркутской области. Есть у нас тут один предприниматель который предлагает подать документы и получить деньги на строительства дома. Собственно так мы и сделали. Нам на 4 человек выделили почти 1 млн. Но денег этих мы в глаза не видели. Предприниматель начал строительство. Дом построили небольшой. Смета явно завышена. Но суть не в этом.

Вот построили дом, но к этому моменту мы переехали в Иркутск, купили здесь квартиру в ипотеку и уже забыли и про эту деревню и про этот дом.

Но вот нам звонит этот предприниматель и говорит, что нам нужно приехать и подписать какие-то бумаги в разных гос. структурах. Либо сделать нотариальные доверенности с правом подписи.

Я не хочу ничего делать. Ведь этот дом нам не нужен, но он говорит, что если мы не сделаем доверенности или не приедем сами то нам придется вернуть государству этот миллион, который мы в глаза не видели.

Вопрос: можем ли мы забыть об этом доме и ничего не делать, или обязательно должны завершить все до конца. Что нам грозит если мы не подпишем все документы.