Музей основан 3 января 1972 года как городской выставочный зал. С 1991 года - Ирбитский музей искусств муниципального подчинения. В декабре 1995 года Министерство культуры Российской Федерации признало коллекции музея «национальным достоянием общероссийского значения». В Ирбитский государственный музей изобразительных искусств входит три здания: «Музей Гравюры и Рисунка», «Музейно-выставочный информационно-образовательный центр» и «Музей уральского искусства». 

С 1997 года переведен в государственную собственность Свердловской области с присвоением статуса государственного музея изобразительных искусств. В августе 2011 года постановлением Правительства Свердловской области, путем изменения типа государственного учреждения включен в состав государственных казенных учреждений культуры области.

В настоящее время музей фактически представляет собой единственный в стране специализированный музей гравюры и рисунка. Собрание музея насчитывает свыше 15 тысяч произведений и делится на два основных блока:
– «Мастера гравюры и рисунка XV-XX веков. Европа и Россия»;
– «Мастера уральского искусства XX века. Живопись, графика, скульптура и декоративно-прикладное искусство».

Музей Гравюры и Рисунка

Адрес: город Ирбит, улица Карла Маркса, дом 47

Построен в 1879 году. Одноэтажное кирпичное здание торгового назначения с широкими арочными проемами входов. С момента постройки и до 1930 года использовался по прямому назначению, как торговые ряды. С начала 1930-х и до 1999 года здание производственного назначения Ирбитского автоприцепного завода. В 1999 году постановлением Правительства Свердловской области передан музею для проведения капитального ремонта, реставрации-реконструкции и размещения музейных экспозиций. В 2014 году завершены все отделочные и художественно-оформительские работы, установлено музейное хранительское и экспозиционное оборудование, система светодиодного освещения экспозиции, запущены системы вентиляции и кондиционирования,  установлены системы связи, охранно-пожарной сигнализации, включая видеонаблюдение.

Музей Уральского искусства

Адрес: город Ирбит, улица Володарского, дом 14

Построен в 1875-80 годах. Автор проекта не известен. Двухэтажная постройка в «кирпичном стиле» наиболее характерна для работ ирбитского мастера-подрядчика И.Торопова. До 1918 - жилой дом купцов Казанцевых. 1918-2001 - родильный дом горздравотдела. 1962-64 - осуществлен пристрой с юго-восточной стороны, со значительными изменениями внутренней планировки исторического здания. 2002 - Постановлением Правительства Свердловской области передан музею для проведения ремонта, реставрации и размещения экспозиций. 2005 - окончание реставрации, ремонта и приспособления исторической части здания для размещения коллекции уральского искусства XX века.

Музейно-выставочный информационно-образовательный центр

Адрес: город Ирбит, улица Елизарьевых, дом 28-в

Типовая приставка к жилому дому. Построена в 1974 году. Перестроена и реконструирована в 2001-2003 годах. В ходе реконструкции выделено и оборудовано всем необходимым основное хранилище с прилегающим к нему отделом главного хранителя, четыре выставочных зала общей площадью 120 кв. м. Во вновь пристроенном помещении в 2003 году открыт многоцелевой актовый зал музея, используемый как выставочный, концертный, кино-видео-лекционный, рассчитанный на 60 посадочных мест. В 2006 году на базе этого зала открыт «Виртуальный филиал Русского музея».