Зависит от того, где они употреблены и каково их значение.
Ни к тому, ни к другому дому он не пошел -для усиления отрицания
Не к тому дому он пошел -для отрицания
