Родился в деревне Блудново Вологодской губернии в крестьянской семье. Первыми наставниками поэта стали учителя школы-семилетки и педагогического техникума в районном городе Никольске, который Александр Яшин окончил в 1931 году. Печататься Яшин начал в 1928 в районной газете «Никольский коммунар», в уездной газете Великого Устюга «Советская мысль» и в центральной периодической печати. Будучи ещё учащимся педтехникума, он становится участником Первого губернского съезда писателей в Великом Устюге. По окончании техникума Яшин учительствовал в деревне, много читал, писал стихи, сотрудничал в Вологодских и Архангельских газетах.
С 1932 года Яшин жил в Вологде, затем в Архангельске, где в 1934 году увидел свет первый сборник его стихотворений «Песни Северу». После участия в Первом Всесоюзном съезде писателей Яшин в 1935 переезжает в Москву и поступает в Литературный институт им. М. Горького, который окончил в 1941 году.
В годы Великой Отечественной войны уходит добровольцем на фронт и в качестве военного корреспондента и политработника участвует в обороне Ленинграда и Сталиграда, в освобождении Крыма. В 1942 — 1943 изданы его сборники стихов «На Балтике было» и «Город гнева».
В послевоенные годы Яшин много ездит по стране, совершает поездки по Северу, на Алтай, на строительство гидроэлектростанций, на целину. Впечатления от увиденного нашли отражение в сборниках стихов Яшина «Земляки» (1946), «Советский человек» (1951), в поэме «Алёна Фомина» (1949). Также Яшин начинает писать прозу, выходят его рассказы «Рычаги» (1956), «Вологодская свадьба» (1962), повестей «Сирота» (1962), «Угощаю рябиной» (1965) и другие прозаические произведения.
В 1960-е выходят поэтические сборники «Босиком по земле», «День творения», «Бессонница». Перу Яшина принадлежат также прозаические произведения: повести «Сирота» (1962) и «Вологодская свадьба» (1965), рассказы «Угощаю рябиной» (1965) и др.
Многие произведения остались незавершенными. Посмертно, в 1972, вышли два тома «Избранных произведений» Александра Яшина. Яшину во многом обязаны своим становлением в русской литературе поэт Николай Рубцов и прозаик Василий Белов.
Особенное место в жизни Александра Яшина занимала его любовь к поэтессе Веронике Тушновой, которая закончилась разрывом. Они встречались тайно, в других городах, в гостиницах, ездили в лес, бродили целыми днями, ночевали в охотничьих домиках. А когда возвращались на электричке в Москву, Яшин просил Веронику выходить за две-три остановки, чтобы их не видели вместе. Сохранить отношения в тайне не получилось. Друзья осуждают его, в семье настоящая трагедия. Разрыв с Вероникой Тушновой был предопределен и неизбежен.
Умер Александр Яшин 11 июня 1968 от рака, в Москве. Похоронен в Блуднове.