Проверить принадлежат ли точки a(2; 4) , в(7; 1) и с(0; 2) окружности x^2+y^2-2x-4y=0

x0, x0 - координаты центра окружности.
xp, yp - координаты точки
расстояние от окружности до точки это гипотенуза, катеты это xp-x0 и yp-y0.
Соответственно если это расстояние меньше радиуса окружности - точка внутри, равно - на границе, больше - за пределами.

По теореме Пифагора.