Думаю, это должно выглядеть так (кстати, неплохо было бы проверять задание перед отправкой...):
6x²y - xy - 3xy > 0
Выносим и сокращаем xy
6x - 1 - 3 > 0
3x > 2
x > 2/3
x ∈ (2/3; ∞)
(скобки круглые)
