По теореме косинусов:
АС² = ВА² + ВС² - 2 · ВА · ВС · cos∠ABC
cos∠ABC = (BA² + BC² - AC²) / (2 · ВА · ВС)
cos∠ABC = (7² + 8² - 13²) / (2 · 7 · 8)
cos∠ABC = (49 + 64 - 169) / (2 · 7 · 8) = - 56 / (2 · 56) = - 1/2
