Задача: В прямой треугольной призме стороны основания 10,17 и 21см, а высота призмы 20см. Найдите объем призмы.

Что-то не так. Во-первых, опечатка - не призма, а пирамида.
Во-вторых, она должна быть 4-угольной, потому что 4 угла куба не могут лежать на трех апофемах треугольной пирамиды.
Значит, считаем, что это 4-угольная правильная пирамида.
В основании квадрат. В пирамиду вписан куб так, что 4 нижних вершины лежат на основании, а 4 верхних на апофемах (высоты боковых граней).
Я сделал рисунок. Там много линий, и чтобы разобраться, я нарисовал апофемы красным, куб синим, а высоту пирамиды жирным черным.
Нижние вершины куба лежат на средних линиях основания KM и LN.
Справа я нарисовал сечение пирамиды плоскостью SLN.
В сечении будет равнобедренный треугольник, а в него вписан прямоугольник PRR1P1, у которого высота PP1 = RR1 = x - стороне куба,
а основание PR = P1R1 = x√2 - диагонали грани куба.
Теперь решаем задачу.
Сторона основания пирамиды а, диагональ AC = BD = a√2,
OC = a√2/2, угол наклона бокового ребра α.
В треугольнике AOS катет OS=H=AO*tg α=a*√2/2*tg α.
В треугольнике LOS катет OL = a/2, по теореме Пифагора
SL^2 = OL^2 + OS^2 = a^2/4 + a^2/2*tg α = a^2/4*(1 + 2tg α)
SL = a/2*√(1 + 2tg α)
Угол наклона апофемы к плоскости основания OLS = β:
tg β = OS/OL = (a*√2/2*tg α) : (a/2) = √2*tg α
В треугольнике RR1L катет
RL = RR1/tg β = x/(√2*tg α) = x√2/(2tg α)
Но мы знаем, что PR = x√2 и NP = RL. Получаем
NL = NP + PR + RL
a = 2*x√2/(2tg α) + x√2 = x√2/tg α + x√2

меньший катет АС=6см, больший катет ВС=12√3 см

Объяснение:

обозначим вершины треугольника А В С с прямым углом С катетами АС и ВС и гипотенузой АВ. Проекции катетов на гипотенузу образует высота СН проведённая из вершины прямого угла, поэтому СН перпендикулярно АВ. СН также делит ∆АВС на 2 прямоугольных треугольника АСН и СВН в которых АН, ВН, СН - катеты, а АС и ВС - гипотенузы. Он подобны между собой, так как высота проведённая из вершины прямого угла делит его на прямоугольные треугольники подобные между собой и каждый из них подобен ∆АВС. АВ=АН+ВН=6+18=24 см. Рассмотрим ∆АСН и ∆АВС. В ∆АСН АС является гипотенузой, а в ∆АВС - гипотенуза АВ, поэтому гипотенуза АС~ гипотенузе АВ. А также меньший катет ∆АСН АН~ АС(меньшему катету ∆АВС:

теперь подставим наши значения в эту пропорцию:

перемножим числитель и знаменатель соседних дробей между собой крест накрест и получим:

АС ²=6×24=144

АС=√144=12см

Теперь найдём катет ВС по теореме Пифагора:

ВС²=АВ²–АС²=24²–12²=576–144=432=12√3см