Родился в состоятельной старообрядческой купеческой семье.

Его отец Алексей Михайлович окончил университет, а мать Аполлинария Ивановна, происходила из рода дворян Волковых. В четырнадцать лет поступил на архитектурное отделение Московского училища живописи, ваяния и зодчества, после двух лет обучения перешёл на отделение живописи. Учился у А. К. Саврасова.

Для завершения образования Коровин едет в Петербург и поступает в Академию художеств, но через три месяца уходит оттуда, разочаровавшись в тамошних методах преподавания.

В 1888 и 1894 Коровин вместе с другом, художником В. Серовым, совершает путешествия на Север. В результате появляются пейзажи:
Гавань в Норвегии
Ручей святого Трифона в Печенеге
Гаммерфест. Северное сияние
Мурманский берег.

В 1890-х К. А. Коровин оформляет павильон Северной железной дороги, построенный по его проекту в Нижнем Новгороде.

В 1900-х художник активно работает в театре, создавая эскизы костюмов и декорации к драматическим постановкам, а также операм и балетам. В частности, он оформляет спектакли «Фауст» (1899), «Конёк-горбунок» (1901), «Садко» (1906). Константин Коровин работал над оформлением спектаклей Большого театра, Мариинского театра и театр Ла Скала в Милане.

Значительное место в творчестве Коровина занимает Париж. Городские пейзажи создаются явно под сильным влиянием французских импрессионистов.

Во время Первой мировой войны К. А. Коровин работает консультантом по маскировке в штабе русской армии.

На протяжении десятилетий К. А. Коровин участвовал в выставках художников разных направлений и объединений — передвижников, «Мира искусства», «Союза 36», Союза русских художников.

С 1901 К. А. Коровин. вместе с В. А. Серовым, преподавал в Московском училище живописи, ваяния и зодчества. Среди его учеников сценограф С. Ф. Николаев, будущий педагог, писатель и краевед — С. П. Волков.

В воспоминаниях одного из его учеников, Н. М. Чернышева есть несколько эпизодов, которые дают живой образ и представление о мировоззрении художника. Очень характерны в этом отношении слова, сказанные им Н. М. Чернышеву во время посещения его последним в 1903 году в гостинице у Москворецкого моста, где К. А. Коровин пребывал, поскольку был болен: По-прежнему лёжа в постели, Константин Алексеевич взял мой эскиз, поставил его себе на живот и начал говорить.

«Прежде всего надо избегать литературности в живописи» — были его первые слова Однако он нашёл в нём (эскизе) много сердечности, поэзии, «Сколько любви!» — восклицал он.
Я волновался, что утомляю больного, а он рассказывал о своей молодости, как трудно им жилось... Случалось, что они голодали, но упорно работали.
«Деньги — г...., — не раз ввёртывал он крепкое словцо. — Никогда не думайте о деньгах. Они сами к вам придут... Пишите больше вот, что здесь, на улице, у вас перед глазами, — говорил он, указывая на окно и обводя взглядом комнату. — Живите в своей комнате, окружённый красками, акварелью, пастелью. ...Всем пишите, пробуйте себя во всём. Больше ешьте, будьте здоровым, весёлым, но всё для искусства. Лучше жить в норе и, терпя всякие лишения, наслаждаться своим искусством...
Знайте Веру, Надежду и Любовь, и во всех лишениях помните эти три.
Если одну из них забыл — погиб.»

После октябрьской революции в России Коровин активно занимается вопросами сохранения памятников искусства, организует аукционы и выставки в пользу освободившихся политзаключённых, продолжает также сотрудничать с театром. В 1923 художник по совету А. В. Луначарского выехал за границу и поселился во Франции.

Наряду с даром живописца Константин Алексеевич обладал и незаурядным литературным талантом. Когда утрата зрения вынудила полностью отказаться от изобразительного искусства, художник продолжал писать рассказы.

Коровин скончался в Париже 11 сентября 1939.

Большое количество работ художника хранится в Русском музее. Имеется также фильм о творчестве живописца производства Русского музея.