Иван Елагин родился 12 января 1918 года во Владивостоке.
Иван Матвеев (это имя до конца его жизни будет фигурировать во всех документах) был сыном известного поэта-футуриста Венедикта Марта (Матвеева, 1896 — 1937) и внуком видного владивостокского краеведа, поэта и переводчика-япониста Николая Петровича Матвеева (1865 — 1941), известного под псевдонимом Николай Амурский. Матерью будущего поэта была Сима Лесохина, еврейка по происхождению, дочь раввина и врач.
Елагин также приходился двоюродным братом известной советской поэтессе Новелле Матвеевой, дочери его дяди Николая Николаевича Матвеева.
В 1919 вывезен родителями из Владивостока в Харбин; в 1923 г. семья вернулась в СССР. В конце 20-х годов отец Елагина был арестован (расстрелян после повторного ареста), мать попала в психиатрическую лечебницу, где и закончит свои дни, а сам будущий поэт оказался в среде беспризорников. Помогать ему взялся известный украинский поэт Максим Рыльский. Позднее Елагин сделает авторизованный перевод одного из стихотворений Рыльского («Концерт»), который станет его первой поэтической публикацией (январь 1941).
В годы Великой Отечественной войны жил в Киеве, в 1943 со своей женой, поэтессой Ольгой Анстей, через Германию перешёл в американскую зону оккупации, чтобы не оставаться в СССР, где их обоих ждал бы арест, а, возможно, и расстрел. Репатриации они избежали.
Находился в лагерях DP (Displaced Person — перемещённое лицо), затем поселился в Мюнхене. С 1950 г. жил в США. Работал на радиостанции «Свобода».
По приезде в США развёлся с Ольгой Анстей после 12 лет брака. Причиной развода стала новая любовь Ольги Анстей. Сам Елагин женился во второй раз 19 апреля 1958, на Ирине Даннгейзер, в этом браке у него родился (1967) сын Сергей.
С Ольгой Анстей у Елагина было две дочери — Инна (8 октября 1943 — 11 января 1944) и Ольга (род. 8 января 1945 в Берлине, крещена там же 2 февраля).
Перевод эпической поэмы Стивена Винсента Бене «Тело Джона Брауна» принес Елагину в 1969 году степень доктора в Нью-Йоркском университете. А в 1970 он защитил диссертацию и стал профессором Питтсбургского университета, где преподавал русскую литературу.
Стихи Елагина публиковались почти в каждом номере «Нового журнала» с 1961 по 1987 год. Также поэт написал много политических фельетонов в стихах, например, «Песенку о коллективном руководстве», в которой по схеме известной песенки «Десять негритят» рассказывается об устранении семи руководителей КПСС — Берии, Шепилова, Маленкова, Кагановича, Молотова, Жукова, Булганина, где в конце остается один Хрущёв. Однако фельетоны Елагин создавал больше для заработка, чем по зову сердца, и позднее от изданной в 1959 книги «Политические фельетоны в стихах» всячески открещивался.
31 декабря 1971 года Елагин вместе с семьёй попал в автокатастрофу по дороге из Чикаго. В аварии все остались живы, но Елагин больше месяца провёл в больнице. Этому событию он посвятил стихотворение «Наплыв», в котором звучат ключевые для понимания его творчества слова «во времени, а не в пространстве».
В 1985 году Елагина ждало большое потрясение: 3 марта умер его давний друг, художник и поэт Сергей Бонгарт, а уже 30 мая, также после тяжёлой болезни, скончалась первая жена Елагина, поэтесса Ольга Анстей.
Сам Елагин умер от рака поджелудочной железы спустя почти два года в возрасте 68-и лет. По свидетельствам знавших поэта людей, он мужественно переносил смертельный недуг, а когда болезнь была диагностирована, настаивал, чтобы диагноз от него не скрывали.