Зная автора задания как специалиста (в частности) в области геометрии, после первых неудачных попыток сделать эту задачу я подумал о возможности применить геометрию, после чего появилась надежда на успех.
Во-первых, мы можем считать, что x > 0 (если x<0, то y(x)>y(-x), то есть при отрицательном x наименьшее значение достигаться не может. Значение y(0)=6 пока просто запомним).
Пусть x>0 - некоторое число. Рассмотрим два . треугольника, один со сторонами 2 и x и углом в 30° между ними, второй - со сторонами 4 и x и углом в 90° между ними. Совместив их по стороне, равной x, получим 4-хугольник ABCD со сторонами AB=2, BC=4, диагональю BD=x и углом ABC, который диагональ BD делит на углы ABD=30° и DBC=90°. По теореме косинусов
Поэтому y(x) при положительном x - это сумма сторон AD и DС. Меняя x, мы меняем вершину D, двигая ее по лучу с вершиной B (при неподвижных A, B и C). Ясно, что сумма будет минимальной, когда четырехугольник ABCD вырождается (это когда D лежит на AC), и равна стороне AC,
Поскольку 
ответом в задаче будет 
Замечание. Значение в нуле в принципе мы могли не вычислять, считая, что при этом получается вырожденный четырехугольник с нулевой диагональю.
Пусть сторона квадрата х см, тогда длина прямоугольника (3х) см, а ширина прямоугольника - (х - 5) см.
Т.к. площадь квадрата находят по формуле S = а², где а - сторона квадрата, о площадь данного квадрата равна (х²) см².
А т.к площадь прямоугольника находят по формуле S = a · b, где a и b - длина и ширина прямоугольника, то площадь данного прямоугольника будет равна S = 3х · (х - 5) = 3х² - 15х (см²).
Т.к. площадь квадрата на 50 см² меньше площади прямоугольника, то составим и решим уравнение:
3x² - 15х = x² + 50,
3x² - x² - 15x - 50 = 0,
2x² - 15x - 50 = 0,
D = (-15)² - 4 · 2 · (-50) = 225 + 400 = 625 ; √625 = 25,
x₁ = (15 + 25)/(2 · 2) = 40/4 = 10,
x₂ = (15 - 25)/(2 · 2) = -10·/4 = -2,5 - не подходит по условию задачи.
Значит, сторона квадрата равна 10 см.
ответ: 10 см.
