Учился в гимназии в Смоленске, в Петербургском университете изучал романо-германскую литературу. По окончании был оставлен на кафедре. Основные научные интересы сосредоточились на русской поэзии пушкинской поры.
В его книгах «Разные стихотворения» (1908), «Идиллии и элегии» (1910) и в итоговом сборнике 1917 года — «Стихотворения», вобравшем в себя и часть опубликованного ранее, отразились его представления о русском символизме, который, согласно убеждению Верховского, берет свое начало в философской лирике Боратынского и Тютчева.
Поэзию Верховского современники находили несколько «вялой» и «флегматичной», но отдавали дань его достойной «неоклассицистической» позиции. С ним приятельствовал А. Блок (сказавший однажды о стихах Верховского: «верный чертеж — и слабый нажим»), обменивался стихотворными посланиями Вяч. Иванов, с симпатией к доброму «Юраше» относились многие современники.
Н. Гумилев писал в своем отзыве на первый сборник: «Он ученик, а не творец, но, быть может, именно в этом своеобразная прелесть книги… Он учился у Боратынского, Языкова, Дельвига, Полонского и Майкова — и он сумел найти в их творчестве стороны, не замеченные до него, близкие к нам и чарующие».