В 1860 г. поступил в Московский университет, но вскоре за распространение запрещенных сочинений был заключен на 3 месяца в смирительный дом и сослан.
После неудачной попытки поступить в Новороссийский университет, Гольц-Миллер проживал в Минске, Курске и Орле.
Начав писать с 1859 г., Гольц-Миллер выдвинулся как хороший переводчик Байрона, Барбье, Ленау и др. Писал и оригинальные стихотворения, лучшие из которых: «Блажен, кто смолоду», «Слушай» (положено на музыку), «Дай руку мне», «На жизнь и смерть», «Мой дом» («Вестник Европы», 1871, № 11).