Найти все строго монотонно возрастающие функции из r в r, такие что
f(x³)=x²*f(x)

по примеру реши.

  x^3 - 6x^2 + 11x - 6 = 0 можно, конечно, решить формулой кардано для решения кубических уравнений, но это долго и трудно. проще подобрать корни схемой горнера. возможные рациональные корни x = a/b, где а - делитель свободного члена, b - делитель старшего коэффициента. x = 1, -1, 2, -2, 3, -3, 6, -6 находишь значения в этих точках. y(1) = 1 - 6 + 11 - 6 = 0 - повезло сразу! теперь раскладываем: x^3 - x^2 - 5x^2 + 5x + 6x - 6 = 0 (x - 1)(x^2 - 5x + 6) = 0 (x - 1)(x - 2)(x - 3) = 0 ответ: x1 = 1, x2 = 2, x3 = 3

Перемножим 
25 a^4 + 50 a^3 x + 35 a^2 x^2 + 10 a x^3 + x^4
попробуем выделить полный квадрат
в него явно входит 5a^2 и x^2 
Но при наличии только этих двух слагаемых результирующий многочлен не имел бы а и х в третьей степени.
Значит, есть ещё что-то. Обозначим это нечто как z
(5a^2 +z+ x^2 )^2-(25 a^4 + 50 a^3 x + 35 a^2 x^2 + 10 a x^3 + x^4)=
z^2 + 2 x^2 z + 10 a^2 z - 50 a^3 x - 25 a^2 x^2 - 10 a x^3 =0
Решим это квадратное уравнение относительно z
корня два
z = 5 a x
и второй
z = -10 a^2 - 5 a x - 2 x^2
второй не интересен :)
ответ
(5 a^2 + 5 a x + x^2)^2 - квадрат исходного выражения