Родился в семье геодезиста Ивана Тихоновича Иванова (1816—-1871). Окончив Первую Московскую гимназию, продолжил обучение сперва на историко-филологическом факультете Московского университета (1884—1886, два курса), затем в Берлинском университете (1886—1890), где, помимо филологии, много занимался историей под руководством Моммзена, а также философией. В 1896 году Гиршфельд и Моммзен приняли его диссертацию, но устный экзамен на учёную степень Иванов не сдавал. На мировоззрение Иванова наибольшее влияние оказали Ницше, Владимир Соловьёв, славянофилы, немецкие романтики (Новалис, Фридрих Гёльдерлин).
Много путешествовал — начиная с 1891 года объехал значительную часть Европы (жил некоторое время в Афинах, затем в Женеве), посетил Палестину, Египет. Жил преимущественно в Италии и России (окончательно переселился в Италию в 1924 году).
В 1894 году познакомился с Лидией Зиновьевой-Аннибал, поэтессой и переводчицей, спустя пять лет ставшей женой Иванова. Тогда же близким другом семьи Иванова становится М. М. Замятнина; она оказывала большую помощь поэту вплоть до своей смерти в 1920 году.
Ранние сонеты Иванова, описывающие горную природу Ломбардии и Альп, созданы под сильным влиянием поэзии католического мистицизма. Первое выступление в печати Иванова-поэта относится к 1898 году (большую помощь оказал тогда молодому поэту Владимир Соловьёв, с которым Иванов познакомился в 1896 году). В 1903—1904 годах Иванов знакомится с В. Я. Брюсовым, К. Д. Бальмонтом, Ю. К. Балтрушайтисом, Д. С. Мережковским и З. Н. Гиппиус, А. А. Блоком.
В 1905 году поэт поселился в Петербурге; его квартира в доме на углу Таврической и Тверской (дом 1) улиц («башня»), в которой по средам собирался кружок младосимволистов, была одним из идейных центров русского символизма, «творческой лабораторией» поэтов; в литературных «средах» Иванов видел прообраз «соборных» общин. Иванов сотрудничал в журналах «Весы», «Золотое руно», «Труды и дни», «Аполлон», «Новый Путь», руководил издательством «Оры»; участвовал в деятельности Петербургского религиозно-философского общества, публиковался в альманахе «Северные цветы», преподавал (1910—1911) историю древнегреческой литературы на Высших женских курсах. В 1906 году сблизился с С. М. Городецким; эта дружба дала Иванову новые темы, и в 1907 году он выпустил сборник «Эрос» (Изд. «Оры», Санкт-Петербург).
Большим ударом для поэта стала скоропостижная смерть жены в 1907 году. После этого поэт глубоко ушёл в теософию и мистику. В 1910 году женился на своей падчерице Вере Шварсалон, дочери Зиновьевой-Аннибал; от этого брака родился сын Дмитрий (1912—2003).
В 1907—1908 годах — после того, как Иванов поддержал теорию «мистического анархизма» Георгия Чулкова — произошёл окончательный разрыв поэта со старшими символистами (впрочем, дружбу с Брюсовым Иванов сохранял вплоть до смерти «зачинателя» русского символизма). По возвращении из длительного путешествия по Италии (1912—1913) Иванов сблизился с литературным критиком М. О. Гершензоном, философом С. Н. Булгаковым, композитором А. Н. Скрябиным.
Активную культурно-педагогическую деятельность Иванов продолжал и после Октябрьской революции; в 1921-1924 годах жил в Баку, где был профессором университета. В 1921 году защитил диссертацию о культе Диониса.
Последние десятилетия провёл в Италии, где занимался в основном переводами произведений античных и средневековых поэтов (Сапфо, Эсхила, Алкея, Петрарки и др.), лишь изредка публикуя новые произведения (цикл «Римские сонеты», 1924; поэма «Человек» (Из-во «Дом книги», Париж), 1939). Иванов жил в Италии уединённо, поддерживая общение лишь с некоторыми из русских эмигрантов (из старших — с Мережковскими, из младших — с И. Н. Голенищевым-Кутузовым).
В 1926 году принял католичество. В 1926—1934 годах преподавал русский язык и литературу в колледже в Павии, в 1934—1943 годах в Восточном институте Ватикана. В 1948 году по заказу Ватикана пишет вступление и примечания к Псалтири. Итогом литературного творчества Иванова стал сборник стихов «Свет вечерний», опубликованный посмертно в Оксфорде в 1962 году.
Иванов похоронен на протестантском кладбище в Риме, рядом с художником Карлом Брюлловым.
Творческие идеалы Иванов ищет в прошлом (Античность, Средневековье, в особенности Византия, к искусству которой редко обращались поэты); там он находит «подлинный» символизм, «органическую» культуру, которую он противопоставляет культуре буржуазной, получившей отражение в творчестве старших символистов. Как теоретик младшей ветви символистов, Иванов нередко выступает с критикой декадентства и импрессионизма, присутствующих в поэзии старших символистов. По Иванову, задача символистов — уход от «индивидуального», интимного в искусстве, создание народного, синтетического искусства, которое отступит от иллюзий, ознаменует объективные реальности. Поэт не должен стремиться к уединению, он обязан стать «голосом народа». Иванов отвергает «парнасский» принцип искусства для искусства и переходит к искусству религиозному, реалистическому (в противовес идеалистическому) символизму. В лирике метафору как основной поэтический приём должен заменить религиозный миф, который является высшей реальностью человеческого духа; в обеспечении этой замены и состоит, согласно Иванову, подлинная задача поэта-символиста.
Основные темы поэзии Иванова, его религиозного «мифа» — смерть и последующее возрождение, отчаяние и следующая за ним надежда; темы воскресения, прославления жертвенного страдания отличают творчество Иванова от творчества старших символистов, в котором важное место имела тема безысходности; в основе поэзии Иванова лежит жизнеутверждающее, оптимистическое начало. Иванов не разделяет пессимизм старших символистов и видит в будущем образование «слепительного», «всерадостного» Да. Декадентские темы одиночества, отчаяния отходят на второй план; их место в творчестве Иванова занимают темы торжества соборности, богоискания, богоявления, мистической любви, одолевающей смерть. В отличие от импрессионистской поэзии старших символистов, поэзия Иванова основана на гармонии, единстве, целостности. Иванов пытается найти собственно-символистские средства выражения. Так, лирика нередко становится эпизированной, драматизированной, иногда превращаясь в монолог или драматическую сцену. Отражение субъективной, индивидуальной точки зрения не характерно для поэзии Иванова. Чаще встречается изложение от третьего лица или от имени некоего коллектива («мы»); иногда мы видим обращение одного коллектива к другому (поэтам, верующим, пророкам, всему человечеству). Многие стихи Иванова сродни одам, дифирамбам и словно созданы для ритуальных действ, торжественной декламации; холодная поэзия Иванова богата анахронизмами, изысканными, отточенными фразами. Последние делятся на несколько сложноподчинённых частей и богаты неординарными инверсиями.
Поэзия Иванова статична, предметна, величава, не напевна, динамизм чужд её «богослужебной» застылости; в стихах почти отсутствуют глаголы (часто сказуемые выражаются существительными и др.). Из стихотворных размеров Иванов предпочитает ямб и хорей. Пейзажи Иванова обычно бездвижны, описывают неживую природу — груды камней, расплавы металлов, грани кристаллов («жемчужный час», «алмазный дождь», «блестящих отсветов недвижные столпы», «медная грудь моря» и т. п.).
Научные работы Иванова посвящены религиозному мифу («Эллинская религия страдающего бога», 1904; «Религия Диониса», 1905; докторская диссертация «Дионис и прадионисийство», написана в 1921, опубликована в 1923 в Баку — вопросы эллинского культа Диониса и происхождения театра трагедии). Иванов читал в Париже (1903) курс лекций, посвященный религиозному культу Диониса.