Lze podat žalobu za nesplnění ústní dohody?

S příbuznými jsme se dohodli, že opravíme domek, stojící na jejich pozemku a za to ho budeme moci užívat k rekreaci. Po dokončení stavby se vyjádřili, že nás zde nechtějí. Nejsou ani ochotni nám vrátit vynaloženou investici. Lze s tím něco dělat? Máme veškeré doklady od díla.
Doplňuji:
Pravým důvodem tohoto postoje je skutečnost, že oni, jako majitelé nebyli schopni po celou dobu opravy , zažádat o vydání stavebního povolení a tak se vlastně jedná o černou stavbu a Stavební úřad nařídil stavbu odstranit. Hlavní škoda tím vznikne nám, protože se jednalo o ruinu a hodnotu má teprve v současné době a za našeho finančního přispění.Jak jsem uvedl, veškeré doklady o provedení díla vlastníme my.