Определить угол а треугольника авс с вершинами а(1,1,1), в(2,-1,3), с(0,0,5).

Если известны координаты вершин Δ, значит, можно вычислить стороны этого Δ. Если нужен угол  Δ (стороны известны), то  надо применить т. косинусов.
Поехали?
1)А(1;1;1), В(2;-1;3),С(0;0;5),∠А-?
АВ=√(1+(-2)² + 2²) = √9=3
ВС=√((-2)²+1² +2²) = √9 = 3
АС=√((-1)²+(-1)² +4²)=√18= 3√2
2) ВС² = АВ² + АС² - 2ВС·АС·СosA
9 = 9 + 18 - 2·3·3√2·CosA
0 = 18-18√2Cos A
18√2CosA = 18
Cos A = 1/√2=√2/2⇒∠А=45°