Родился в дворянской семье Вадима и Екатерины Волховских. Учился в гимназиях в Петербурге и Одессе. Учился как вольнослушатель на юридическом факультете Московского университета, где попал в революционную среду. Бросил университет, так как на занятия не было ни времени, ни средств, работал приказчиком в книжном магазине.
В 1868 году Волховский был арестован и содержался в заключении без предъявления какого-либо обвинения 7 месяцев, по процессу «Рублевого общества» — пропагандистской группы, которую он организовал вместе с Г. А. Лопатиным с целью распространения книг среди крестьянства. После чего был отдан матери на поруки и под надзор полиции.
В апреле 1869 года, после обыска снова арестован по Нечаевскому делу и содержался до суда в заключении свыше двух лет, сначала в московских тюрьмах, а затем в Петропавловской крепости. Судился в 1871 году по делу нечаевцев, но был оправдан.
В начале 1870-х годов вошел в кружок «чайковцев» и стоял во главе одесской группы. Вновь арестованный в 1874 году, прошел по «процессу 193-х» (участники «хождения в народ») и в январе 1878 года был приговорен к ссылке на поселение в Тобольскую губернию. Жил в Тюкалинске, где женился на Анне Хоржевской. В 1881 году получил разрешение жить в Томске. С августа 1881 года по март 1889 года проживал в Томске, где работал журналистом местной «Сибирской газеты». В 1885 и 1886 встречался в Томске с американским авантюристом Джорджем Кеннаном. В 1887 году застрелилась вторая жена Волховского Анна Хоржевская. В 1889 умерла их трёхлетняя дочь Катя.
В 1889 году Волховский переехал в Иркутск, в оттуда в Читу и Троицкосавск (Забайкальская область). Бежал из ссылки в Троицкосавске 16 августа 1889 года во Владивосток. На английском пароходе прибыл в Японию. В конце 1889 года достиг берегов Канады. В июне 1890 года по приглашению своего соратника по «хождению в народ» С. М. Степняка-Кравчинского перебрался в Лондон. В Лондоне Волховский был одним из наиболее активных политических эмигрантов. Он участвовал в работе английского Общества друзей русской свободы (1890-1914) и Фонда вольной русской прессы. С 1893 по 1914 г. редактировал лондонское издание журнала «Free Russia». В начале XX века Волховский вместе с товарищами по эмиграции Е. Е. Лазаревым, Д. В. Соскисом, Л. Э. Шишко примкнул к эсерам.
Участвовал в тайной операции по отправке оружия в Россию на пароходе «Джон Графтон». В 1905 году Волховский вернулся в Россию для участия в революции. Он работал агитатором в Выборге среди военных, был связан с группой «Военно-организационного бюро». В 1906 году был вынужден вновь покинуть пределы Российской империи.
В это время у него ухудшается и без того слабое здоровье. По этой причине значительную часть 1906 года Волховский проводит в Швейцарии. В 1907 году возвращается в Лондон, возобновив свою работу редактором «Free Russia».Также Волховский принимал активное участие в издании зарубежных эсеровских изданий «За народ» и «Знамя труда».
Умер 2 августа 1914 года в Лондоне.