Анчаров родился 28 марта 1923 года в семье инженера-конструктора Московского электролампового завода Леонида Михайловича Анчарова (у. 1968) и его жены, преподавателя немецкого языка Евгении Исаевны Анчаровой (у. 1959). Посещал музыкальную школу и детскую изостудию при ВЦСПС.
В 1940 году поступил в Архитектурный институт. В июле 1941 года ушёл из института и вместе с Юрием Ракино, соучеником по изостудии, подал заявление в райвоенкомат с просьбой зачислить добровольцем на фронт. По направлению райвоенкомата сдал экзамены и поступил в Военный институт иностранных языков Красной Армии, где изучал китайский и японский языки. Окончил его в 1944 году. В качестве военного переводчика с китайского языка в 1945 году был направлен на Дальневосточный фронт, участвовал в боевых действиях Советской Армии в Маньчжурии. В декабре 1946 откомандирован в Москву. Демобилизовавшись в 1947 году, жил на случайные заработки.
В 1948 году поступил по конкурсу на живописное отделение ВГИКа. Знакомство с Т. И. Сельвинской, студенткой МГХИ, изменило его планы: после месяца учёбы во ВГИКе перешёл на факультет живописи Московского государственного художественного института имени Сурикова (закончил в 1954). Член ВКП(б) с 1950 года.
В 1955—1958 годах учился на курсах киносценаристов, в 1956—1959 годах работал референтом-сценаристом в сценарной мастерской при Сценарной студии Управления по производству фильмов Министерства культуры СССР.
В 1959-61 годах снова жил на случайные заработки. С 1962 года пишет сценарии (в том числе к первому советскому телесериалу «День за днём»), 27 декабря 1966 года становится членом Союза писателей СССР.
Михаил Анчаров скончался 11 июля 1990 года.
Ещё в 1937 Анчаров начал сочинять песни на стихи Александра Грина, Бориса Корнилова, Веры Инбер. Во время войны стал писать песни на собственные стихи, исполняя их под собственный аккомпанемент на семиструнной гитаре. Считается основателем жанра авторской песни («первым бардом»); Владимир Высоцкий называл Анчарова своим учителем.
После войны наряду с сочинением песен и стихов пишет прозу (первые рассказы опубликованы в 1964 году).
Наиболее известные прозаические произведения — повести «Как птица Гаруда», «Самшитовый лес», «Сода-солнце» и «Записки странствующего энтузиаста» — повлияли на мировозрение не одного поколения. Его герои изобретают вечный двигатель, доказывают теорему Ферма и совершают множество самых невероятных открытий. Автор нескольких десятков авторских песен, в том числе таких популярных, как «МАЗы», «Большая апрельская баллада», «Баллада о парашютах», «Песня про органиста, который в концерте Аллы Соленковой заполнял паузы, пока певица отдыхала» («Маленький органист»), «Песенка про психа из больницы имени Ганнушкина, который не отдавал санитарам свою пограничную фуражку», «Антимещанская песня», «Песня про низкорослого человека, который остановил ночью девушку возле метро „Электрозаводская“», «Сорок первый».