Для начала разбейте интеграл на несколько интегралов(по знакам + и -).
У вас получится:
((x^2-x^6)/2)+((2x*sqrt(x))/3)-(1/x^2)+ctg(x)+tg(5)*x+C, где C принадлежит к рациональным числам
