Родился в семье чиновника. Отец по делам, связанными со службой, часто переезжал. Ершовы пересекали цепь казачьих поселений, посещали места, где были еще свежи предания о временах Ермака и Пугачева. В 1824 году родители отправили Петра и его брата Николая в Тобольск учиться. Мальчики жили в купеческой семье Пиленковых — родственников матери, а когда окончили гимназию, отец перевёлся в Петербург, где братья поступили в Петербургский университет.
В 1831—1835 годах учился на философско-юридическом отделении Петербургского университета. В студенческие годы Ершов сближается с профессором русской словесности Петром Плетнёвым, знакомится с Василем Жуковским, Александром Пушкиным… На их суд девятнадцатилетний студент отдаёт свое первое крупное произведение — сказку «Конёк-горбунок», прочитав которую Пушкин с похвалою сказал начинающему поэту: «Теперь этот род сочинений можно мне и оставить». Плетнёв во время одной из лекций с университетской кафедры прочитал отрывок из «Конька-горбунка» и представил изумленным слушателям автора чудесной сказки — их сокурсника Петра Ершова, сидевшего в аудитории.
Отрывок из «Конька-горбунка» появился в «Библиотеке для чтения» (1834, т. 3), а в середине 1834 года сказка Ершова была опубликована отдельным изданием. Успех сопутствовал молодому поэту: в декабре того же года к печати была одобрена первая часть «Сибирского казака», а затем и вторая часть этой «старинной были».
Приближающееся окончание университета было связано для молодого сибиряка с проблемами. Не смог он получить желаемую должность, приходилось расставаться с друзьями, которых у него было немного, порывать с литературной средой. Противоречивые чувства вызывало и прощание с самим Петербургом: многое здесь стало дорогим и слилось с душой поэта, а с другой стороны, Ершова манила Сибирь, которую он называл «северной красавицей», мечтая об исследовании тогда ещё мало изученного края.
Вернувшись на родину летом 1836 года, работал учителем Тобольской гимназии, затем инспектор (с 1844 года) и директор (с 1857) гимназии и дирекции училищ Тобольской губернии. Один из его учеников — будущий химик Дмитрий Иванович Менделеев. Падчерица Ершова стала его женой.
Был инициатором создания любительского гимназического театра. В театре занимался режиссурой. Написал для театра несколько пьес: «Сельский праздник», «Суворов и станционный смотритель», комическую оперу «Якутские божки», «Черепослов».
Печатал свои стихотворения в «Библиотеке для чтения» Сенковского и в «Современнике» Плетнёва.
Умер П. П. Ершов 18 августа 1869 г. Похоронен г. Тобольске на Завальном кладбище.
Известность Ершову принесла его сказка «Конёк-горбунок», написанная им ещё на студенческой скамье и впервые напечатанная отрывком в 3 томе «Библиотеки для Чтения» 1834 года, с похвальным отзывом Сенковского.
Первые четыре стиха сказки набросал Пушкин, читавший её ещё в рукописи. Сказка Ершова вышла отдельной книжкой в 1834 году и выдержала при жизни автора семь изданий, причем второе издание 1856 года — было сильно переработано автором и является на сегодня каноническим текстом.
«Конёк-горбунок» — произведение народное, почти слово в слово, по сообщению самого автора, взятое из уст рассказчиков, от которых он его слышал; Ершов только привёл его в более стройный вид и местами дополнил. Своеобразный слог, народный юмор, удачные и художественные картины (конный рынок, земский суд у рыб, городничий) доставили этой сказке широкое распространение.
Белинский видел в сказке подделку, «написанную очень недурными стихами», но в которой «есть русские слова, а нет русского духа».
Существует версия, что сказка «Конёк-горбунок» целиком написана Пушкиным и выпущена под именем Ершова.
Кроме «Конька-горбунка» Ершов написал несколько десятков стихотворений. Есть также указания, что он публиковал стихи, рассказы и драматургические произведения под псевдонимами.