В повести «Сказка моего детства» Рыленков вспоминает: «Деревня Алексеевка, где крестьянствовали мои родители и где рос я, была одним из самых глухих углов лесного Рославльского уезда… В годы моего детства в ней не насчитывалось и полсотни дворов. Почти у самой ее околицы начинались дремучие леса…» Отец запомнился «идущим с обнаженной головой и с севалкой на груди вдоль нивы, окруженным золотистым сиянием разбрасываемого зерна». С раннего детства Рыленков осваивал «хитрую науку, как строить хаты, как сажать деревья, в какую пору начинать посев». Судьба «упорно приучала ходить босым по жесткому жнивью». К трудностям сельской жизни прибавилось личное горе: в 1916 умер отец Рыленкова, в 1919 — умерла любимая мать.
5 классов начальной школы Рыленков окончил за 4 года и поступил в среднюю школу в с. Тюнино, где участвовал в выпуске школьного рукописного журнала «Искорки». Отец, деревенский грамотей и книголюб, мечтал сделать сына сельским учителем, и Рыленков поступает в Смоленский педагогический институт. В Смоленске жил трудно, перебиваясь случайными заработками, но продолжал литературное творчество. К стихам тянулся с детства. Рыленков рос в той среде, где фольклор присутствовал в повседневном быту, а в доме Рыленковых звучали стихи великих русских поэтов.
В 1926 девятиклассник Рыленков принес стихи в редакцию газеты «Смоленская деревня», в 1929 начал печататься в местных газетах «Наша деревня», «Путь молодежи», «Брянский рабочий».
В 1933 окончил факультет языка и литературы педагогического института, работал учителем, затем редактором в книжном издательстве, вел отдел критики в смоленской газете «Рабочий путь».
В 1933 в Смоленске Рыленков опубликовал первую книгу стихов «Мои герои». Второй книгой также в Смоленске стал сборник «Встречи». В конце 1930-х были изданы «Стихи о зажиточной жизни», поэма «Земля», за ними последовал «Березовый перелесок» (1940). С первых книг Рыленков заявил о себе, как о певце родного края. Рыленков создает стихи об истории Смоленска «Мастер Фёдор Конь», «Кутузов в пути», «Памятник 1812 года в Смоленске» и другие. Стихи Рыленков получают признание, о них одобрительно отзывается М. Горький. С 1936 Рыленков возглавляет Смоленскую писательскую организацию. Становясь мастером эпического жанра, пишет поэмы на темы русской истории «Большая дорога» (1938), «Скоморох Овсей Колобок» (1939), «Великая Замятия» (1940).
В первые дни Великой Отечественной войны Рыленков ушел добровольцем, хотя не подлежал призыву по состоянию здоровья. Взял с собой на фронт книги Блока и Гейне, командовал саперным взводом, а по ночам при свете коптилки в землянках продолжал писать стихи. Все более значительным содержанием наполняется тема России. В стихах военных лет появляются публицистические призывы, ранее для Рыленкова не характерные. Рыленков стал военным журналистом, листовки с его стихами-призывами сбрасывали с самолетов во вражеском тылу партизанам и жителям временно оккупированных Смоленщины и Белоруссии; автор был награжден медалью «Партизану Великой Отечественной войны». Рыленков работает в разных жанрах, пишет стихи, песни, баллады, поэмы «Апрель», «Лесная сторожка», «Возвращение», «Сотворение мира», «В родном краю». Стихотворение Рыленкова «Отомсти, товарищ» пели, как народную песню.
В 1943-44 были изданы книги стихов Рыленкова «Синее вино», «Прощание с юностью», «Смоленские леса». В одном из своих выступлений военного времени А. Сурков, говоря о лирике, отметил «С тобой и без тебя К. Симонова, прекрасные стихи Н. Рыленкова…». Участвовали в войне и довоенные строки Рыленкова — на тайных сходках молодые смоляне-подпольщики читали призывные строки поэмы Рыленкова «Великая Замятня», посвященной борьбе жителей Смоленска против интервентов в прежние времена. В стихах 1945 родная страна предстает в ореоле победительницы.
В 1946 Рыленков издал книгу с записями партизанских песен «Живая вода» (Смоленск).
Рыленков обращается к прозе, осмысливая пройденный народом путь, возникают повести «Великая Росстань», «На старой Смоленской дороге», выстраивается автобиографическая трилогия: «Сказка моего детства», «Мне четырнадцать лет», «Дорога уходит за околицу». Чист и емок язык этой прозы — «русский язык со всеми присущими только ему прелестями, со всеми оттенками — скромности, простоты, застенчивости, ясности, улыбки, душевности». В адрес Рыленкова раздавалась и критика — упрекали за якобы пассивное любование природой, за отсутствие гражданственности в стихах о ней. Действительно, поэт чутко слышит «яблони знобкую дрожь», среди его героев «ива, ивушка зеленая», калина и рябина (характерно название одной из его книг «Рябиновый свет»). К природе Рыленков подходит с позиции народного миропонимания, именно в духе народной поэзии обращается он к березке, как к живому существу: березка и впрямь одушевлена, она повторяет «девичьи запевки у окна», она «переходит вброд» «белый-белый плес», «кивает с холма» поэту; где б ни был он, «в душе березки русые», родную Смоленщину называет он краем березовым. Образы природы в творчестве Рыленкова глубоко гражданственны и патриотичны. В прозаических этюдах Рыленков «Синие глаза зимы», «Моя бессонная весна», «Как пахнет лето», «Осенняя радуга» соединен опыт поэта и крестьянина. «Журавлей путеводная нить» проходит сквозь все творчество поэта, свою последнюю книгу он назвал «Журавлиные трубы».
Народной песней стало написанное в 1948 стихотворение Рыленкова «Ходит по полю девчонка». К песенным стихам Рыленкова обращались многие композиторы (М. Фрадкин, А. Флярковский, И. Массалитинов и др.).
Рыленков создал собственный стихотворный пересказ «Слова о полку Игореве».
Последнее десятилетие жизни поэта было особенно продуктивно, вышли книги прозы «Волшебная книга» (1964), «На озере Сапшо» (1966) и другие, книги стихов «Корни и листья» (1960), «Жажда» (1961), «Пятое время года», «Избранная лирика» (обе — 1965), «Снежница» (1968), «Книга времени» (1969) и др.
Значительным вкладом в литературу стали книги Рыленкова по истории поэзии — «Традиции и новаторство» (1962), где русская поэзия развернуто предстает от М. Ломоносова до В. Бокова, «Душа поэзии» (1969), в которую включены статьи о Пушкине, Крылове, Сурикове, Шевченко, Блоке и многие другие. Многим поэтам посвящены и стихи Рыленкова. Его стихи о М. Глинке и Бетховене вошли в антологию «Музыка в зеркале поэзии». Проявлением «доброй души» поэта (так названа книга о нем) явились и его переводы поэтов соседней Смоленщине Белоруссии — Я. Коласа, П. Бровки, М. Танка, А. Кулешова, П. Панченко, А. Велюгина, А. Зарицкого, Ф. Пестрака, П. Труса, К. Киреенко, а также статьи об их творчестве. Переводил Рыленков стихи и поэтов других народов, часть переводов собрана в книге «Журавлиные трубы» (1972).
Ныне имя Рыленкова носят в Смоленске улица, библиотека, школа. Его строки начертаны у Смоленской крепостной стены на могиле погибших во время Великой Отечественной войны.
Скончался Н. И. Рыленков 23 июня 1969 года, похоронен в Смоленске на Братском кладбище. Могила на центральной аллее.