Родился в дворянской семье и приходился племянником известному писателю Антонию Погорельскому, двоюродным братом Алексею Толстому. Вырос в родовом имении Павловка под Ельцом, затем учился в Санкт-Петербурге в гимназии и в Училище правоведения. Жемчужников служил в Сенате и участвовал в сенатских ревизиях Орловской и Калужской губерний и таганрогского градоначальства; позже был помощником статс-секретаря Государственного совета. Его карьера развивалась довольно успешно, однако в 1858 он вышел в отставку, что было жестом отчасти демонстративным. Последующие пять лет Жемчужников жил в Калуге и отчасти в Москве, тесно общаясь со своим соучеником и мужем своей сестры, калужским губернатором Виктором Арцимовичем (видным политиком реформаторского крыла), а также с жившими в Калуге бывшими декабристами, прежде всего с Гавриилом Батеньковым.
В 1863—1884 Жемчужников живёт за границей: в Германии, Швейцарии, Италии, Франции. Вернувшись в Россию, главным образом остается в Тамбове и Тамбовской губернии, в имении своего зятя Михаила Баратынского (родственника поэта Евгения Баратынского).
Печатался Жемчужников с 1850 в журналах «Современник», «Отечественные записки», «Искра». На раннем этапе творчества Жемчужникова наиболее заметной его частью был созданный совместно с братом Владимиром и двоюродным братом Алексеем Толстым литературный псевдоним Козьмы Пруткова.
В 1859—1869 Жемчужников не печатался и почти не писал. Затем постепенно, особенно после возвращения в Россию в 1884, начал возвращаться в литературу. Первая книга стихотворений Жемчужникова была издана лишь в 1892, однако уже как том признанного мастера, с портретом автора и автобиографическим очерком. В 1900, к 50-летию его литературной деятельности, вышел в свет новый сборник Жемчужникова «Песни старости». В том же году он был избран почётным академиком Российской академии наук. Юбилейные торжества были отмечены сердечными приветствиями Льва Толстого, Владимира Соловьёва и других крупнейших деятелей русской культуры.
Преобладающий элемент в поэзии Жемчужникова — искреннее, глубоко прочувствованное и метко выраженное негодование на общественную ложь; Жемчужников представлял крайне редкий в то время пример истинного патриота, болезненно чувствующего действительное зло своей родины и желающего ей настоящего добра. Ходячая ложь, подменивающая патриотизм грубым национальным самомнением и шовинизмом, беспощадно обличается в сатире Жемчужникова. В одной из них, описав оборванного пьяницу, молящегося на церковной паперти в первый день Великого поста, поэт вспоминает о другом «греховоднике»:
О, торжествующий меж нами
Покрыт и срамом и грехами
Наш современник не таков!
Он, гордо лоб закинув медный,
Пред алтарем отчизны бедной
Священнодействовать готов.
В другом стихотворении («Памятник Пушкину») Жемчужников так обращается к лжепатриотам:
Вы все, в ком так любовь к отечеству сильна
Любовь, которая все лучшее в нём губит —
И хочется сказать, что в наши времена
Тот честный человек, кто родину не любит.
В истинном патриотизме нежная любовь к родине неразлучна со жгучей ненавистью к её действительным врагам.
О, этот вид, о, эти звуки!
О, край родной, как ты мне мил!
От долговременной разлуки
Какие радости и муки
В моей душе ты пробудил!
Твоя природа так прелестна
Она так скромно-хороша!
Но нам, сынам твоим, известно
Как на твоем просторе тесно
И в узах мучится душа…
Обрисовав несколькими меткими чертами виновников этих мук, наших внутренних общественных врагов, поэт заключает:
И отвращения, и злобы
Исполнен к ним я с давних лет
Они — «повапленные» гробы…
Лишь настоящее прошло бы
А там — им будущего нет.
Несмотря на преобладание у Жемчужникова патриотической сатиры, в его поэзии много чистого лиризма. Из основных мотивов лирики особенно сильно у него чувство природы. В любви поэзия Жемчужникова отметила только момент первой встречи («Странно! мы почти что незнакомы») и скорбь последней разлуки; любовное чувство проявляется здесь в прозрачной чистоте, без малейшей эротической примеси, которой не чужды даже любовные мотивы у Тютчева. Вообще, лирические стихотворения Жемчужникова, хотя и немногочисленные, так же оригинальны, как и его сатира, и занимают своё неотъемлемое почетное место в русской поэзии.