Лежащая на столе книга давит на него с некоторой силой. стол действует на книгу с такой же силой, направленной вверх. можно ли найти равнодействующую этих сил?

Да. Одна сила направлена вверх, а другая напротив — вниз. Значит, вычитаем. Силы равны. Если из числа вычесть число, равное ему, получится ноль. Так что равнодействующая сила равна 0