Внесите множитель под знак корня

Х - собственная скорость катера
(х + 3) - скорость катера по течению
40/(х + 3)  - время на путь по течению
(х - 3) - скорость катера против течения
40/(х + 3)  - время на путь против течения
Уравнение
40 / (х+3) + 40/(х - 3) = 3
ОДЗ   при  х≠3
40х - 40*3 + 40х + 40*3 = 3 * (х - 3) * (х + 3)
80х = 3 (х² - 9)
3х² - 80х - 27 = 0 
D = 80² - 4 * 3 * (- 27) = 6400 + 324 = 6724 
√D = √6724 = 82
х₁ = (80 - 82) / 6 = - 1/3 - отрицательное значение не удовлетворяет условию
х₂ = (80 + 82) /6 = 162/6 = 27 км/ч - скорость катера
ответ: 27 км/год

Х - собственная скорость катера
(х + 3) - скорость катера по течению
40/(х + 3)  - время на путь по течению
(х - 3) - скорость катера против течения
40/(х + 3)  - время на путь против течения
Уравнение
40 / (х+3) + 40/(х - 3) = 3
ОДЗ   при  х≠3
40х - 40*3 + 40х + 40*3 = 3 * (х - 3) * (х + 3)
80х = 3 (х² - 9)
3х² - 80х - 27 = 0 
D = 80² - 4 * 3 * (- 27) = 6400 + 324 = 6724 
√D = √6724 = 82
х₁ = (80 - 82) / 6 = - 1/3 - отрицательное значение не удовлетворяет условию
х₂ = (80 + 82) /6 = 162/6 = 27 км/ч - скорость катера
ответ: 27 км/год