Родился в семье обрусевших немцев. Воспитывался в Воронежском кадетском корпусе. По инициативе М. Ф. Де-Пуле был познакомлен с И. С. Никитиным и членами кружка Н. И. Второва. По окончании кадетского корпуса обосновался в Москве, посвятив себя литературной деятельности. В 1861 переехал в Санкт-Петербург. По подозрению к причастности к студенческим волнениям и «костомаровскому делу» был арестован и содержался в Петропавловской крепости. В декабре 1861 освобождён. После гибели переводчицы М. Н. Коптевой (участницы Знаменской коммуны), с которой Берг был близок, резко сменил образ жизни, разорвал отношения с демократическим окружением.
В 1864—1868 жил в Вологде. Занимался этнографией, фольклором, краеведением. В 1869 вернулся в Санкт-Петербург. Сотрудничал как публицист в журналах «Русский вестник» и «Заря», был редактором ряда периодических изданий. Состоял в «Союзе русского народа», был почётным членом Русской монархической партии и Русского монархического собрания. В конце жизни впал в нищету и страдал от психического расстройства. Умер в Алексеевской психиатрической лечебнице.
В печати дебютировал в 1859, опубликовав своё стихотворение и перевод стихотворения Генриха Гейне. При содействии А. Н. Плещеева печатал стихи, переводы, литературно-критические статьи, рецензии в журналах «Современник», «Эпоха», «Время». В журнале «Современник» опубликовал роман «Закоулок» (1861, № 1 — 3) Переводил произведения Гейне, О. Барбье, П. Ж. Беранже, В. Гюго, А. Г. Эленшлегера. Совместно с В. Д. Костомаровым и на его средства издал «Сборник стихотворений иностранных авторов» (Москва, 1860), сборник «Поэты всех времён и народов» (Москва, 1861). Совместно с А. Н. Плещеевым выпустил сборник «Детская книжка» (Москва, 1861), в который вошли переводы Берга сказок Г. Х. Андерсена, стихотворений европейских поэтов. После возвращения из Вологды в Санкт-Петербург (1869) выступал с публицистикой в журналах «Русский вестник» М. Н. Каткова и «Заря» В. В. Кашпирева. С 1874 редактор газеты «Русский мир», в 1878—1887 журнала «Нива». После смерти М. Н. Каткова арендовал у его наследников «Русский вестник». Перевёл издание журнала в Санкт-Петербург. Был редактором газеты «Русский листок» (1898—1899), журнала «Родная речь» (1900—1905), газеты «День» (1903—1909).