ay^2+ay-by-b=(ay^2+ay)-(by+b)=ay*(y+1)-b*(y+1)=(y+1)*(ay-b). после ay^2 скорее всего зевнули знак плюс. как нет? он у вас в списке первый.
