Сосед по участку оставил подпись в акте согласования стороон, теперь отказывается

Здравствуйте! Помогите разобраться в ситуации. Делали межевание. Когда нам замерили участок выяснилось, что вместо размеров 20х30 и площади 6 соток земли, имеет размеры: одна сторона 18,2: вторая сторона 20, и оставшиеся 2 стороны как положено 30 метров. Площадь соответственно получилась 5 с лишним соток. То есть с одной стороны благодаря забору соседа участок идёт на сужение. Мы предварительно это дело обговорили с соседом, что забор нужно сместить на его участок на 80 см с одной стороны для того, чтобы наш участок привести к правильным размерам и площади, с чем он и согласился. Посчитали, что забор стоит неправильно и маленькая часть нашей площади находится на его участке. Подготовили с этим учетом нам межевой план с актом согласования, где соседи расписались. Спустя 2 месяца соседи принялись делать межевание, и пришли к нам с претензией что мы залезли своим межеванием на их территорию на 80 см, хотя мы с ними заранее это обговаривали и они согласились, подписали акт. Заставляют нас делать перемежевание, ссылаясь на кадастровую ошибку. Муж идёт в отказ, так как они до этого все подписали, и если они будут каждый месяц передумывать это не дело. Сейчас соседи намеренны подать на нас в суд, так же взыскать все судебные издержки и моральный ущерб. Как быть? И кто прав в этой ситуации?