Дам 5 зірок хто вирішить...

Чтобы привести дроби к наименьшему общему знаменателю необходимо найти наименьшее общее кратное. Для этого:
 
1. Выпишем числа из знаменателей исходных дробей и разложим каждое из них на простые множители. 
60 = 2 * 2 * 3 * 5
540 = 2 * 2 * 3 * 3 * 3 * 5
20 = 2 * 2 * 5

Вычеркиваем все множители для 540 и 20, которые есть в разложении 60. Выделим их жирным:

540 = 2 * 2 * 3 * 3 * 3 * 5
20 = 2 * 2 * 5

2. Выписываем все множители, входящие в первое число (60):

 2 * 2 * 3 * 5

3. Домножаем на недостающие множители из разложений остальных чисел (это числа, которые не выделены жирным):

 2 * 2 * 3 * 5 * 3 * 3 = 540

Таким образом, наименьший общий знаменатель = 540. Приведем наши дроби к наименьшему общему знаменателю:

ОДЗ: x^2+8x-24>=0, x<=-4-2*sqrt(10), x>=-4+2*sqrt(10)
Решение, как вы правильно заметили, стоит осуществлять через такую замену:
x^2+8x=t
ОДЗ: t-24>=0, t>=24
t+4*sqrt(t-24)=36
4*sqrt(t-24) = 36-t - Можно возвести в квадрат, если выражение справа неотрицательное. Получаем систему:
16*(t-24) = (36-t)^2
36-t>=0
t>=24 (из ОДЗ)

16t - 384 = 1296 - 72t + t^2
24<=t<=36

t^2 - 88t + 1680 = 0
24<=t<=36

t1=28 - удовл.условию системы (24<=t<=36),
t2=60 - не удовл. условию системы (24<=t<=36)

Вернемся назад к замене:
x^2+8x=28
x^2+8x-28=0, D=176
x1=-4 + 2*sqrt(11)
x2= -4 - 2*sqrt(11)
Оба корня удовлетворяют ОДЗ.