Вынеси общий множитель за скобки:
0,3x11y2−x2y6.

Надо это уравнение свести к однородному. А для этого введём новый угол.
√3*2Sinx/2Cosx/2 - Cos²x/2 + Sin²x/2 = Sin²x/2 + Cos²x/2,
2√3Sinx/2Cosx/2 - Cos²x/2 + Sin²x/2 - Sin²x/2 - Cos²x/2 = 0,
2√3Sinx/2Cosx/2 - 2Cos²x/2  = 0,
√3Sinx/2Cosx/2 - Cos²x/2  = 0
Cosx(√3Sinx - Cosx) = 0
Cosx = 0               или             √3Sinx - Cosx = 0 |: Cosx
x = π/2 + πk , k ∈Z                   √3 tgx -1 = 0
                                                   x = 1/√3
                                                    x = π/6 + πn , n∈Z

Для того,чтобы сумма квадратов корней уравнения равнялась какой-либо величине, эти корни должны существовать. Значит, дискриминант нашего уравнения должен быть неотрицательным,т.е
(3p-5)^2-4(3p^2-11p-6)>=0. При таких "p" у исходного уравнения найдутся(возможно, совпадающие) корни x1 и x2. Запишем для них теорему Виета:
x1+x2=-b/a=5-3p
x1*x2=c/a=3p^2-11p-6
Теперь,не вычисляя корней, можно найти сумму их квадратов через "p": x1^2 + x2^2.
Выделим полный квадрат:
(x1+x2)^2-2x1*x2= (5-3p)^2-2(3p^2-11p-6).
По условию, эта сумма квадратов  равна 65.
Получаем:
(5-3p)^2-2(3p^2-11p-6)=65
Решим его:
25-30p+9p^2-6p^2+22p+12-65=0
3p^2-8p-28=0
D=(-8)^2-4*3*(-28)=400
p1=(8-20)/6=-2
p2=(8+20)/6=14/3
Проверим, подставив эти значения "p" в исходное уравнения, чтобы убедиться, что дискриминант неотрицателен.
Проверять здесь не буду из-за экономии времени. Все найденные "p" подходят.
Теперь найдем корни уравнения:
1)p=-2
x^2-11x+28=0
x1=4; x2=7
2)p=14/3
x^2+9x+8=0
x1=-8; x2=-1
ответ: при p=-2 x1=4, x2=7; при p=14/3 x1=-8, x2=-1.