Точки A (1,3,6) B (3,3,8) C (0,2,0) є вершинами трикутника. Знайти довжину
сторони АВ.

Теория - основа для решения  задач. 
Раз изучаете вписанные и описанные окружности, наверняка уже знаете, что центр вписанной в треугольник окружности находится в точке пересечения его биссектрис. 
Знаете также и то, что
центр описанной окружности - в точке пересечения срединных перпендикуляров, проведенных к каждой из его сторон.  
В равностороннем треугольнике все биссектрисы и высоты пересекаются в одной точке, и эта точка - центр и вписанной, и описанной окружности, так как высота равностороннего треугольника и есть срединный перпендикуляр к стороне. Почему - доказывать не стоит, наверняка знаете.
 О том, что медианы треугольника пересекаются в одной точке и точкой пересечения делятся в отношении 2:1- считая от вершины, Вы уже должны знать. 
Вот на знании всех этих свойств и построено решение задачи. 
Точка пересечения биссектрис треугольника равноудалена от всех его сторон. Расстояние от нее до стороны - радиус вписанной окружности. 
В равностороннем треугольнике это 1/3 медианы -  и это и 1/3 биссектрисы и 1/3 высоты ( три в одном флаконе). 
Радиус описанной вокруг равностороннего треугольника  окружности - расстояние от точки пересечения высот до вершин треугольника, и это расстояние в два раза больше расстояния от точки пересечения биссектрис (высот) до стороны треугольника. 
Итак, радиус описанной вокруг равностороннего треугольника окружности в два раза больше радиуса вписанной в него.
R=2r= 5*2=10 cм
 См. рисунок в качестве иллюстрации.  

СМ : МК : КА = 2 : 3 : 2, т.е. СМ - две одинаковые части, МК - три такие же части, а КА - 2 части. Тогда

СМ : СК : СА = 2 : 5 : 7

Если прямая параллельна стороне треугольника, то она отсекает треугольник, подобный данному, значит

ΔМСТ  подобен ΔАСВ и коэффициент подобия равен:

k₁ = CM : CA = 2 : 7

Площади подобных треугольников относятся как квадрат коэффициента подобия:

Smct : Sabc = 4 : 49

Smct = 4 · 98 / 49 = 8 см²

ΔКСР подобен ΔАСВ,

k₂ = CK : CA = 5 : 7

Skcp : Sacb = 25 : 49

Skcp = 25 · 98 / 49 = 50 см²

Skmtp = Skcp - Smct = 50 - 8 = 42 см²

Sakpb = Sacb - Skcp = 98 - 50 = 48 см²