На множестве действительных чисел это выражение не определено.
Возможно, ты имел в виду √(√5–√7)² ?
Тогда пользуемся формулой √а² = |а|
√(√5–√7)² = | √5–√7 | = √7–√5
