Родился 3 января 1936 года в селе Емецк Архангельской области. В 1940 году переехал вместе с семьёй в Вологду, где Рубцовых и застала война. По одним данным, отец Николая, Михаил Адриянович Рубцов (1900—1963), ушёл на фронт и погиб в 1941, по другим данным бросил семью и жил отдельно в Вологде после войны. В 1942 умерла мать, и Николая направили в Никольский детский дом Тотемского района Вологодской области, где он окончил семь классов школы. Здесь родилась его дочь Елена в гражданском браке с Меньшиковой Генриеттой Михайловной.
С 1950 года по 1952 год будущий поэт учился в Тотемском лесотехническом техникуме. Затем с 1952 года по 1953 год работал кочегаром в архангельском траловом флоте треста «Севрыба», с 1953 года по 1955 год учился в горно-химическом техникуме Минхимпрома в г. Кировск (Мурманская область). С марта 1955 Рубцов был разнорабочим на опытном военном полигоне.
С октября 1955 года по 1959 год проходил армейскую службу на Северном флоте (в звании матроса и старшего матроса). После демобилизации жил в Ленинграде, работая попеременно слесарем, кочегаром и шихтовщиком на Кировском заводе.
Рубцов начинает заниматься в литобъединении «Нарвская застава», знакомится с молодыми ленинградскими поэтами Глебом Горбовским, Константином Кузьминским, Эдуардом Шнейдерманом. В июле 1962 года с помощью Бориса Тайгина выпускает свой первый машинописный сборник «Волны и скалы».
В августе 1962 года Рубцов поступает в Литературный институт им. М. Горького в Москве и знакомится с Владимиром Соколовым, Станиславом Куняевым, Вадимом Кожиновым и другими литераторами, чьё дружеское участие не раз помогало ему и в творчестве, и в делах по изданию стихов. С пребыванием в институте вскоре возникли проблемы, однако поэт продолжает писать, и в середине 1960-х у него выходят первые сборники.
В 1969 году Рубцов оканчивает Литературный институт, получает первую в своей жизни отдельную однокомнатную квартиру.
Будучи в состоянии алкогольного опьянения, погиб 19 января 1971 (в день Крещения) в Вологде на улице Яшина в доме номер 3, в результате семейной ссоры с начинающей поэтессой Людмилой Дербиной (Грановской), на которой собирался жениться (5 января они подали документы в ЗАГС). Судебным следствием установлено, что смерть наступила в результате удушения. Людмила Дербина была осуждена на 7 лет. Биографы упоминают о стихотворении Рубцова «Я умру в крещенские морозы» как о предсказании даты собственной трагической смерти.
В своих последующих воспоминаниях и интервью об этом трагическом случае Людмила Дербина высказала гипотезу, по которой смерть Николая Рубцова могла произойти в результате случившегося сердечного приступа. Вполне возможно, что очень сильное эмоциональное переживание и алкогольное опьянение могли этому способствовать.
Похоронен в Вологде на Пошехонском кладбище.
Вологодская «малая родина» и Русский Север дали ему главную тему будущего творчества — «старинную русскую самобытность», стала центром его жизни, «землёй… священной», где он чувствовал себя «и живым, и смертным».
Его первый сборник был выпущен в 1962 году. Он назывался «Волны и скалы». Вторая книга стихов «Лирика» вышла в 1965 в Архангельске. Затем были изданы поэтические сборники «Звезда полей» (1967), «Душа хранит» (1969), «Сосен шум» (1970). Готовившиеся к печати «Зелёные цветы» появились уже после смерти поэта.
После смерти были опубликованы сборники: «Последний пароход» (Москва, 1973), «Избранная лирика» (Вологда, 1974), «Подорожники» (Москва, 1975), «Стихотворения» (1977).
Поэзия Рубцова, предельно простая по своей стилистике и тематике, связанной преимущественно с родной Вологодчиной, обладает творческой подлинностью, внутренней масштабностью, тонко разработанной образной структурой.
Особенной известностью пользуются песни на его стихи «В горнице моей светло», «Я буду долго гнать велосипед», «В минуты музыки печальной», «Улетели листья».
О своей поэзии сам Николай Рубцов написал:
Я переписывать не стану
Из книги Тютчева и Фета,
Я даже слушать перестану
Того же Тютчева и Фета.
И я придумывать не стану
Себя особого, Рубцова,
За это верить перестану
В того же самого Рубцова,
Но я у Тютчева и Фета
Проверю искреннее слово,
Чтоб книгу Тютчева и Фета
Продолжить книгою Рубцова!..