NaN выводится, потому что 
— отрицательное число. И потом происходит извлечение корня из этого отрицательного числа.
Чтобы NaN не было, нужно передать положительное число в функцию Power(), а потом возвращенный результат сделать отрицательным. (Это сработает только для нечетных степеней корня)
Нужно немного изменить код:
if x > 5 then
begin
cosVal := cos(sqr(x));
if cosVal < 0 then
writeln(Power(abs(cosVal), 1 / 3) *-1)
else
writeln(Power(cosVal, 1 / 3));
end;
using System;
class Program
{
static void Main(string[] args)
{
Console.WriteLine("Введите координату x точки");
double x = int.Parse(Console.ReadLine());
Console.WriteLine("Введите координату y точки");
double y = int.Parse(Console.ReadLine());
Console.WriteLine("Введите радиус");
double r = int.Parse(Console.ReadLine());
double d = Math.Sqrt(Math.Pow(-x, 2) + Math.Pow(-y, 2));
Console.WriteLine(d);
if (d < r){
Console.WriteLine("Да");}
else if (d == r){
Console.WriteLine("На границе");}
else{
Console.WriteLine("Нет");}
Console.ReadKey();
}
}
