(x^2-x-4)^2-10(x^2-x-4)+16=0

План действий такой: 1) ищем производную
                                      2) приравниваем её к нулю и решаем получившееся уравнение
                                      3) Смотрим: какие корни попали в указанный промежуток и ищем значения данной функции в этих точках и на концах данного отрезка;
                                       4) пишем ответ.
Поехали?
1) f'(x) = ((x² -8x)'(x+1) - (x² -8x)(x+1)')/(x+1)²=
 ((2x-8)(x+1) - (x²-8x))/(x+1)²= (2x² -8x +2x -8 - x² +8x)/(x+1)²=
=(x² +2x -8) / (х+1)²
2)(x² +2x -8) / (х+1)² ⇒ x² +2x -8 =0, ⇒ х = - 4   и   х = 2
3) Из найденных корней в указанный промежуток попало  х = -4
а) х = -4
f(-4) = (-4)² -8*(-4) /(-4+1) = 48/(-2) = -24
б) х = -5
f(-5) = (-5)² -8*(-5) /(-5+1) = 65/(-4) = -13,75
в) х = -2
f(-2) = (-2)² -8*(-2)/(-2+1) = 20/(-1) = -20
4) maxf(x) = f((-2) = -20
    minf(x) = f(-4) = -24

Для того,чтобы сумма квадратов корней уравнения равнялась какой-либо величине, эти корни должны существовать. Значит, дискриминант нашего уравнения должен быть неотрицательным,т.е
(3p-5)^2-4(3p^2-11p-6)>=0. При таких "p" у исходного уравнения найдутся(возможно, совпадающие) корни x1 и x2. Запишем для них теорему Виета:
x1+x2=-b/a=5-3p
x1*x2=c/a=3p^2-11p-6
Теперь,не вычисляя корней, можно найти сумму их квадратов через "p": x1^2 + x2^2.
Выделим полный квадрат:
(x1+x2)^2-2x1*x2= (5-3p)^2-2(3p^2-11p-6).
По условию, эта сумма квадратов  равна 65.
Получаем:
(5-3p)^2-2(3p^2-11p-6)=65
Решим его:
25-30p+9p^2-6p^2+22p+12-65=0
3p^2-8p-28=0
D=(-8)^2-4*3*(-28)=400
p1=(8-20)/6=-2
p2=(8+20)/6=14/3
Проверим, подставив эти значения "p" в исходное уравнения, чтобы убедиться, что дискриминант неотрицателен.
Проверять здесь не буду из-за экономии времени. Все найденные "p" подходят.
Теперь найдем корни уравнения:
1)p=-2
x^2-11x+28=0
x1=4; x2=7
2)p=14/3
x^2+9x+8=0
x1=-8; x2=-1
ответ: при p=-2 x1=4, x2=7; при p=14/3 x1=-8, x2=-1.