Преобразуйтек к квадратным следующий неравенства

из второго

x=-y`-3y   (*)

дифференцирую его по t

x`=-y``-3y`

подставляю их в первое

-y``-3y`= -y`-3y+5y

-y``-2y`-2y=0

y``+2y`+2y=0

характеристической уравнение

λ^2+2λ+2=0

D=4-8=-4

λ=(-2+-2i)/2=-1+-i

y(t)=e^(-t)(C1cost+C2sint);

y`= -e^(-t)(C1cost+C2sint)+e^(-t)(-C1sint+C2cost)

подставлю в выражение (*)

x=e^(-t)(C1cost+C2sint)-e^(-t)(C2cost-C1sint)-3e^(-t)(C1cost+C2sint)=

= -2e^(-t)(C1cost+C2sint)-e^(-t)(C2cost-C1sint)

подставлю начальные условия

y(0)=C1=1

x(0)=-2(1+0)-1(C2-0)= -2-C2=-2; C2=0

Тогда ответ

x(t)=-2e^(-t)cost+e^(-t)sint=e^(-t)(sint-2cost)

y=e^(-t)cost;

2cos^2(x/4+пи/4)+6сos^2(пи/8+x/8)=2
2cos^2(x/4+пи/4)+3+3сos(пи/4+x/4)=2
2cos^2(x/4+пи/4)+3сos(пи/4+x/4)+1=0
d=1
сos(пи/4+x/4)=-1 или сos(пи/4+x/4)=-1/2
пи/4+x/4 = pi+2*pi*k или пи/4+x/4 = 2pi/3+2*pi*k или пи/4+x/4 = 4pi/3+2*pi*k
x1 = 3pi+8*pi*k или x2 = 8pi/3-pi+8*pi*k или x3 = 16pi/3-pi+8*pi*k
x1 = 3pi+8*pi*k или x2 = 5pi/3+8*pi*k или x3 = 13pi/3+8*pi*k

x1 = 3pi+8*pi*k на участке  [0;12pi] - 2 корня {3pi;11pi}
x2 = 5pi/3+8*pi*k на участке  [0;12pi] - 2 корня {5pi/3;29pi/3}
x3 = 13pi/3+8*pi*k на участке  [0;12pi] - 1 корень {13pi/3}

всего на участке  [0;12pi] - 5 корней - это ответ