Как это получилось объясните 6cos^2 5x=6-6sin^2 5x

Ну смотри, есть общее тригонометрическое тождество cos^2 x+sin^2 x=1
отсюда получаем cos^2x=1-sin^2x
Ну,а теперь возвращаемся к твоему случаю
заменяем cos^2 5x  = 1- sin^ 5x  и получаем
6(1-sin^2 5x)=6-6sin^2 5x