Родился Николай Рубцов в поселке Емецк в 1936 году (сейчас это Архангельская область). Отец, Михаил Андрианович, работал в леспромхозе, мама, Александра Михайловна, была домохозяйкой. Семья многодетная — сестры Тася, Надя, потом еще одна Надя, Галя… до взрослого возраста дожила только Галя. Братья — Альберт, Борис. Из Емецка семья переехала сначала в Няндому, где отец Николая служил начальником местной потребительской кооперации до 1941 года, потом отправилась в Вологду.
Началась война, следы отца затерялись. Николай долго считал, что Михаил Андрианович погиб на фронте, но оказалось, Михаил Рубцов был ранен, контужен, вернулся домой в 1944 году, однако детей, которых после смерти матери разметало по интернатам, найти не смог. Завел другую семью. С сыном Николаем смог увидеться только в 1955 году.
Мама и три сестры будущего поэта умерли в Вологде от голода и болезней в самом начале войны.
Братьев распределили по детским домам. 14-летнюю Галину не взяли — она стала жить с теткой Соней, сестрой отца, в Вологде. А шестилетний Коля оказался сначала в Красковском детском доме под Вологдой, а оттуда 20 октября 1943 года вместе с группой ребят прибыл в Никольский детский дом.
