Искать площадь АОВD бессмысленно - это самопересекающийся четырехугольник.
Или приложите чертеж. Я буду искать площадь четырехугольника АВОD.
См. рисунок.
Возможны 2 случая - окружность вписана в треугольник DMC, или в АFD.
Во втором случае четырехугольник невыпуклый, но всё-же его площадь можно вычислить.
Если я где ошибся с вычислениями прощения - очень спешу.
решение на чертеже.
