Стороны ac, ab, bc треугольника abc равны 3√2, √11 и 1 соответственно. точка k расположена вне треугольника abc, причём отрезок kc пересекает сторону ab в точке, отличной от b. известно, что треугольник с вершинами k, a и c подобен исходному. найдите косинус угла akc, если ∠kac> 90°

Треугольники подобны => у них углы равны...
угол КАС > 90 градусов => он самый большой в треугольнике, 
в исходном треугольнике самым большим был угол АВС (он лежит против самой большой стороны треугольника))) 
значит, стороны КС и АС пропорциональны
угол АСК меньше угла АСВ (((из одной точки С проведены два луча СК и СВ,
СК ближе к АС --- он пересекает АВ))) --- т.е. углы АСК и АСВ не равны...
значит, углы АСК = ВАС равны, т.е. угол АКС = АСВ 
по т.косинусов: 11 = 1+18 - 2*1*3V2*cosACB
cosACB = 2V2 / 3