.. Для многих это легко, но для меня ужас. И если можно объясните...

Пусть сторона квадрата х см, тогда длина прямоугольника (3х) см, а ширина прямоугольника - (х - 5) см.

Т.к. площадь квадрата находят по формуле  S = а², где а - сторона квадрата,  о площадь данного квадрата равна (х²) см².

А т.к площадь прямоугольника находят по формуле S = a · b, где a и b - длина и ширина прямоугольника, то площадь данного прямоугольника будет равна S = 3х · (х - 5) = 3х² - 15х (см²).

Т.к. площадь квадрата на 50 см² меньше площади прямоугольника,  то составим и решим уравнение:

3x² - 15х = x² + 50,

3x² - x² - 15x - 50 = 0,

2x² - 15x - 50 = 0,

D = (-15)² - 4 · 2 · (-50) = 225 + 400 = 625 ; √625 = 25,

x₁ = (15 + 25)/(2 · 2) = 40/4 = 10,

x₂ = (15 - 25)/(2 · 2) = -10·/4 = -2,5 - не подходит по условию задачи.

Значит, сторона квадрата равна 10 см.

ответ: 10 см.

Многое в поставленной вами задачи зависит от того Какие значения может 
принимать Х изменяясь в своей области определения . Кроме того важно 
сразу отметить что если вы ищете аналитическую закономерность (виде 
некоторой формулы) то её может и не быть. 

Если множество значений Х дискретно то можно использовать 
любой из стандартных методов интерполяции : линейную, дробно- 
линейную, многочлен Тейлора , Чебышева, Ньютана , Лагранжа и т.д 

Приведу пример нахождения интерполяционного многочлена Тейлора 
по следующим данным : при Х1=0 Y1=1 ,при X2=1 Y2=2 , при X3=2 Y3=1; 
многочлен ищем ввиде: P(x)=A0+A1*X+A2*X^2 , где коэффициенты A0,A1,A2- 
подлежат определению, подставляя последовательно вместо X значения Х1,Х2,Х3 
а вместо P(x) значения Y1,Y2,Y3- соответственно получим следующию систему уравнений: 
P(X1)=A0+A1*0+A2*0*0=A0=1 итак A0=1; 
P(X2)=1+A1*1+A2*1*1=2 
P(X3)=1+A1*2+A2*2*2=1+2*A1+4*A2=1 находим A1 и A2 из последних двух строк 
Получим A1=-1 ,A2=2 итак искомый многочлен представляется P(x)=1 – X +2*X^2 
Данный многочлен даёт представление о ВОЗМОЖНОЙ аналитической зависимости 
между X и Y. Естественно этот результат не единственен. 
Вообще же рекомендую прочитать книжку: Л.И. Турчак П.В. Плотников «Основы численных методов»