Выделим сначала полный квадрат по х:
y^2-x^2-6x-9 = y^2-(x^2+2*3*x+3^2) = y^2-(x+3)^2.
Дальше применим формулу для разности квадратов: a^2-b^2 = (a-b)(a+b), в роли a у нас y, а в роли b у нас x+3.
y^2-(x+3)^2 = (y-x-3)(y+x+3).
Это и будет искомое разложение на множители.
