Даны две точки a(x1, y1) и b(x2, y2). составьте алгоритм определяющий, которая из точек находится ближе к началу координату.

Думаю, имелось в виду не алгоритм, а программу, так что вот(если имелось в виду именно алгоритм, то напишите в лс):
#include <iostream>
#include <math.h>

using namespae std;

int main()
{
  double x1,y1,x2,y2;
  cin>>x1>>y1>>x2>>y2;
   double m1 = sqrt(x1*x1+y1*y1);
   double m2 = sqrt(x2*x2+y2*y2);
  if(m1 < m2) cout << "Ближе A" << endl;
  else cout << "Ближе B" << endl; /*с учетом иррациональности расстояния между точками почти в большинстве случаев, и неточности плавающих вычислений на компьютере можно пренебречь случаем, когда они равноудалены.*/
 char c; cin >> c;
 return 0;
}