Я. В. Смеляков родился 26 декабря 1912 (8 января 1913 года) в Луцке (ныне Украина) в семье железнодорожного рабочего. Детство провёл в деревне, где окончил начальную школу. Затем он учился в Москве, в школе-семилетке.
Окончил полиграфическую фабрично-заводскую школу (1931). Занимался в литературных кружках при газете «Комсомольская правда» и журнале «Огонёк». Работал в типографии. Член СП СССР с 1934.
В 1934-1937 годах был репрессирован. Два близких друга Я. В. Смелякова — Павел Васильев и Борис Корнилов были расстреляны в годы Большого террора.
С 1937 ответственный секретарь газеты «Дзержинец» трудкоммуны имени Дзержинского (Люберцы). С 1939 ответственный инструктор секции прозы СП СССР.
Участник Великой Отечественной войны. С июня по ноябрь 1941 был рядовым на Северном и Карельском фронтах. Попал в окружение, находился в финском плену до 1944. Возвратившись из плена, Смеляков опять попал в лагерь, где его несколько лет «фильтровали». Вместе с ним в лагере находился брат Александра Твардовского, Иван. После лагеря Смелякову въезд в Москву был запрещен. Работал в многотиражке на подмосковной угольной шахте. В Москву ездил украдкой, ни в коем случае не ночевал. Благодаря Константину Симонову, замолвившему слово за Смелякова, ему удалось вновь вернуться к писательской деятельности. В 1948 году вышла книга «Кремлевские ели».
В 1951 по доносу двух поэтов вновь арестован и отправлен в заполярную Инту.
Просидел Смеляков до 1955 года, возвратившись домой по амнистии, еще не реабилитированный.
Член Правления СП СССР с 1967, Правления СП РСФСР с 1970. Председатель поэтической секции СП СССР. Принимал участие в травле Солженицына.
Умер Смеляков еще нестарым человеком, месяц не дожив до шестидесятилетия. Не прибавила здоровья Ярославу Васильевичу ни новая жена (первая жена Дуся заочно развелась с ним, выйдя замуж за жокея московского ипподрома Бондаревского), ни новая квартира на Ломоносовском проспекте, ни бывшая фадеевская дача в Переделкине. А наиболее пронзительные строки увидели свет уже после его смерти, в перестройку. И среди них выделяется одно — о его первом следователе.
Рано начал писать стихи. Учась в ФЗУ (будучи «фабзайцем»), публиковал стихи в цеховой стенгазете. Писал также обозрения для агитбригады. Дебютировал в печати в 1931 году. Первый сборник стихов «Работа и любовь» (1932) сам набирал в типографии как профессиональный наборщик. Как и в следующем сборнике «Стихи», Смеляков воспевал новый быт, ударный труд.
В стихах использовал разговорные ритмы и интонации, прибегал к своеобразному сочетанию лирики и юмора. В сборниках послевоенных лет («Кремлёвские ели», 1948; «Избранные стихи», 1957) и поэме «Строгая любовь» (1956), посвященной молодёжи 1920-х годов, обнаруживается тяготение к простоте и ясности стиха, монументальности изображения и социально-историческому осмыслению жизни. Поэма, частично написанная ещё в лагере, получила широкое признание.
В произведениях позднего периода эти тенденции получили наиболее полное развитие. Одной из главных тем стала тема преемственности поколений, комсомольских традиций: сборники «Разговор о главном» (1959), «День России» (1967); «Товарищ Комсомол» (1968), «Декабрь» (1970), поэма о комсомоле «Молодые люди» (1968) и другие. Посмертно изданы «Мое поколение» (1973) и «Служба времени» (1975).
К его наиболее известным произведениям могут быть отнесены такие стихотворения, как «Если я заболею…», «Хорошая девочка Лида», «Милые красавицы России». Песню на стихи «Если я заболею» исполняли Юрий Визбор, Владимир Высоцкий, Аркадий Северный и другие.
Автор публицистических и критических статей; занимался переводами с украинского, белорусского и других языков.
Я. В. Смеляков умер 27 ноября 1972 года. Похоронен в Москве на Новодевичьем кладбище (участок № 7).