Работала не официально, требуют возместить причиненный преступлением ущерб

Здравствуйте! У меня такой случай. Я устроилась неофициально работать к ИП. Договор мы не заключали. Со мной произошло мошенничество, а точнее, человек пришел под видом поставщика и требовал деньги за товар назвав имена моих хозяев. Я отдала деньги. Я купилась на то что он назвал хозяина. Но моя ошибка что я отдала не сделав звонка директору для уточнения. Просто я думала что это все правда. После чего я обратилась в милицию, спустя неделю преступника поймали, сейчас ведется дело. После этого случая директор заключил со мной договор о материальной ответственности, но продолжаю работать не официально. При этом он требует чтоб ту отданную сумму выплачивала ему я. Прав ли он? Ведь преступника поймали и теперь нужно выбивать из него обратно? И должна ли что-то платить, если на тот момент у нас даже не было договора? Имеет ли он права не отпустить меня с работы, если я хочу уволится, ведь я считаю не справедливо что преступник пойман, а платить он заставляет все равно меня.