Родился в Рязани в небогатой дворянской семье. В 1838 окончил Рязанскую гимназию. Началом своей литературной деятельности Яков Полонский считал 1837, когда представил одно из своих стихотворений цесаревичу, будущему царю Александру II, путешествовавшему по России в сопровождении своего воспитателя В.А. Жуковского.
В 1838 Яков Полонский поступил на юридический факультет Московского университета (окончил в 1844). В студенческие годы сблизился с А. Григорьевым и А. Фетом, которые высоко оценили талант молодого поэта. Познакомился также с П. Чаадаевым, А. Хомяковым, Т. Грановским. В журнале «Отечественные записки» в 1840 было впервые опубликовано стихотворение Полонского «Священный благовест торжественно звучит…» Печатался в журнале «Москвитянин» и в студенческом альманахе «Подземные ключи».
В 1844 вышел первый поэтический сборник Полонского «Гаммы», в котором заметно влияние М. Лермонтова. В сборнике уже встречались стихи, написанные в жанре бытового романса («Встреча», «Зимний путь» и др.). В этом жанре был впоследствии написан и шедевр лирики Якова Полонского «Песня цыганки» («Мой костер в тумане светит…», 1853). Литературовед Б. Эйхенбаум впоследствии называл главной чертой романсов Полонского «сочетание лирики с повествованием». Для них характерно большое количество портретных, бытовых и других подробностей, отражающих психологическое состояние лирического героя («Пришли и стали тени ночи…» и др.).
По окончании университета Яков Полонский переехал в Одессу, где выпустил второй поэтический сборник «Стихотворения 1845 года» (1845). Книга вызвала отрицательную оценку В.Г. Белинского, который увидел в авторе «ни с чем не связанный, чисто внешний талант». В Одессе Полонский стал заметной фигурой в кругу литераторов, продолжавших пушкинскую поэтическую традицию. Впечатления одесской жизни впоследствии легли в основу романа «Дешевый город» (1879).
В 1846 Яков Полонский получил назначение в Тифлис, в канцелярию наместника М. Воронцова. Одновременно стал помощником редактора газеты «Закавказский вестник», в которой печатал очерки. В Тифлисе в 1849 вышел поэтический сборник Полонского «Сазандар» («Певец»). В него вошли баллады и поэмы, а также стихи в духе «натуральной школы» — т.е. изобилующие бытовыми сценами («Прогулка по Тифлису») или написанные в духе национального фольклора («Грузинская песня»).
В 1851 Полонский переехал в Петербург. В дневнике 1856 г. записал: «Не знаю, отчего я чувствую невольно отвращение от всякого политического стихотворения; мне кажется, что в самом искреннем политическом стихотворении столько же лжи и неправды, сколько в самой политике». Вскоре Яков Полонский определенно заявил о своем творческом кредо: «Мне не дал Бог бича сатиры… / И для немногих я поэт» («Для немногих», 1860). Современники видели в нем «скромного, но честного деятеля пушкинского направления» (А. Дружинин) и отмечали, что «он никогда не рисуется и не играет никакой роли, а всегда является таким, каков он есть» (Е. Штакеншнейдер).
В Петербурге Яков Полонский издал два поэтических сборника (1856 и 1859), а также первый сборник прозы «Рассказы» (1859), в которых Н. Добролюбов заметил «чуткую восприимчивость поэта к жизни природы и внутреннее слияние явлений действительности с образами его фантазии и с порывами его сердца». Д. Писарев, напротив, считал подобные черты проявлениями «узенького психического мира» и относил Якова Полонского к числу «микроскопических поэтиков».
В 1857 Яков Полонский уехал в Италию, где изучал живопись. В Петербург вернулся в 1860. Пережил личную трагедию — смерть сына и жены, отразившуюся в стихах «Чайка» (1860), «Безумие горя» (1860) и др. В 1860-е годы написал романы «Признания Сергея Чалыгина» (1867) и «Женитьба Атуева» (1869), в которых заметно влияние И. Тургенева. Полонский печатался в журналах разного направления, объясняя это в одном из своих писем А. Чехову: «Я всю жизнь был ничей».
В 1858-1860 Яков Полонский редактировал журнал «Русское слово», в 1860-1896 служил в Комитете иностранной цензуры. Вообще же 1860-1870-е годы были отмечены для поэта читательским невниманием и житейской неустроенностью. Интерес к поэзии Полонского вновь возник в 1880-е годы, когда вместе с А. Фетом и А. Майковым он входил в «поэтический триумвират», пользовавшийся уважением читающей публики. Яков Полонский вновь стал знаковой фигурой в литературной жизни Петербурга, на «пятницах Полонского» собирались выдающиеся современники. Поэт дружил с Чеховым, внимательно следил за творчеством К. Фофанова и С. Надсона. В стихах «Сумасшедший» (1859), «Двойник» (1862) и др. предсказал некоторые мотивы поэзии 20 в.
В 1890 Полонский писал А. Фету: «По моим стихам можно проследить всю жизнь мою». В соответствии с этим принципом отражения внутренней биографии он построил свое итоговое «Полное собрание сочинений» в 5 тт., вышедшее в 1896.
Умер Яков Полонский в Петербурге 18 (30) октября 1898.