5х^2-6xy+5y^2=29 { 7x^2-8xy+7y^2=43

Решаем, конечно, подстановкой. Только сначала сделаем вот что:
5х² - 6ху + 5у² = 29 | ·(-7)         -35x² + 42xy - 35y² = - 203
7х² - 8ху + 7у² = 43 |· 5 ⇒          35x² - 40 xy + 35 y² = 215  Сложим
                                                            2ху = 12
                                                             ху = 6
Вот теперь можно искать подстановку: х = 6/у
5·36/у² - 6у·6/у + 5у² = 29
180/у² - 36 + 5у² = 29
180/у² + 5у² - 65 = 0-
36/у² + у² - 13 = 0 |·y²≠0
36 + y^4 - 13 y² = 0
y² = t
t² - 13t + 36 = 0
По т. Виета t1= 9 и t2 =4
y² = 9                      y² = 4
y = +-3                    y = +-2
x = 6/+-3= +-2         х = 6/+-2 = +-3