Срешением тригонометрических уравнений:
1.
2.
3.
4.
5.
6.

Пусть сторона квадрата х см, тогда длина прямоугольника (3х) см, а ширина прямоугольника - (х - 5) см.

Т.к. площадь квадрата находят по формуле  S = а², где а - сторона квадрата,  о площадь данного квадрата равна (х²) см².

А т.к площадь прямоугольника находят по формуле S = a · b, где a и b - длина и ширина прямоугольника, то площадь данного прямоугольника будет равна S = 3х · (х - 5) = 3х² - 15х (см²).

Т.к. площадь квадрата на 50 см² меньше площади прямоугольника,  то составим и решим уравнение:

3x² - 15х = x² + 50,

3x² - x² - 15x - 50 = 0,

2x² - 15x - 50 = 0,

D = (-15)² - 4 · 2 · (-50) = 225 + 400 = 625 ; √625 = 25,

x₁ = (15 + 25)/(2 · 2) = 40/4 = 10,

x₂ = (15 - 25)/(2 · 2) = -10·/4 = -2,5 - не подходит по условию задачи.

Значит, сторона квадрата равна 10 см.

ответ: 10 см.

Обозначим длину l cм, ширину b см.
P = 2(l + b) = 40
2l + 2b = 40
2l = 40 - 2b = 2(20 - b)
l = 20 - b
S1 = l*b = (20 - b)*b = 20b - b^2

Изменим размеры по условию, получаем
длина = (l-3) см = 20 - b - 3 = 17 - b
ширина = (b + 6) см
Площадь нового прямоугольника
S2 = (l-3)* (b + 6) = (20 - b - 3)*(b + 6) = (17 - b)*(b + 6) = 17b - b^2  + 102 - 6b = 11b - b^2 + 102  
S2 = S1 + 3
  20b - b^2 + 3 = 11b - b^2 + 102
20b - b^2 - 11b + b^2 = 102- 3
9b = 99
b = 11 см
l = 20 - b = 20 - 11 = 9 см
S1 =  l*b = 11*9 = 99 см^2

Проверка:  l = 9-3=6 см
                   b = 11+6 = 17 см
                   S2 = 6*17=102 см^2
                   S2 - S1 = 102 - 99 = 3 см^2

ответ: площадь первоначального прямоугольника 99 см^2.