(a-b)*(a-b) что это за формула,как ее разложить?

Это квадрат разности
= квадрат первого члена-удвоенное произведение второго и первого члена+квадрат второго члена

(a-b)*(a-b) = (a-b) в квадрате.
Эта формула называется квадрат разности.