Якубович принадлежал к дворянскому сословию. В 1882 году он окончил историко-филологический факультет Петербургского университета. С 1878 года сотрудничал в журналах «Дело», «Слово», «Отечественные записки». В 1882 году вступил в петербургскую организацию «Народной воли», с 1883 года был одним из лидеров народовольческого движения.
Арестован в Петербурге 15 ноября 1884, по процессу 21-го приговорён к смертной казни, заменённой 18 годами каторги. Отбывал на Карийской каторге и в Акатуе. С 1895 на поселении в Кургане.
Как поэт начал печататься в 1878 году. Сборник «Стихотворения Матвея Рамшева» вышел в 1887 году. Некоторые свои стихи, чтобы пробить их сквозь цензуру, он публиковал под именами никогда не существовавшего ирландского поэта О’Коннора или итальянца Чезаре Никколини. Якубович напечатал также в переводе с немецкого так называемые «затерянные стихотворения» Лермонтова, якобы переведённые с подлинных русских рукописей немецким поэтом Фридрихом Боденштедтом, известным как мистификатор. Вот строки оттуда:
«О судьбе не жалейте моей,
Ни о том, что от дружбы своей
Оттолкнули меня лицемеры.
Не жалейте! В тюрьме вы, как я!
Всё различие в том лишь, друзья,
Что у вашей побольше размеры…»
В 1899 году Якубович вернулся с каторги. Он работал редактором отдела поэзии, с 1904 года (совместно с В. Г. Короленко) — отдела беллетристики журнала «Русское богатство». Якубович известен своими переводами поэзии Шарля Бодлера. Самая известная его книга «В мире отверженных» — классика тюремного жанра в русской литературе.
В 1905 году откликнулся на Кровавое воскресенье стихотворением «Красный снег», ставшим широко известным в советское время, когда оно было включено в школьную программу.
Сын П. Ф. Якубовича — литературовед-пушкинист Дмитрий Петрович Якубович (1897—1940).
Племянник — Якубович Михаил Петрович, меньшевик, десятилетия находился в СССР в заключении.