Раскрываем первые скобки, используя распределительный закон, раскрываем вторые скобки, используя формулу сокращённого умножения, получаем:
√10(3√10+2√5) - (√5 + √10)² = 3 * 10 + 2√50 - 5 - 2√50 - 10 = 30-5-10=15
