Идея создания музея, связанного с историей камнерезного дела на Урале, возникла еще в конце XIX века в Уральском обществе любителей естествознания. «Устроить в Екатеринбурге музей ископаемых богатств» страстно желал и знаменитый художник А.К. Денисов-Уральский, предлагая в дар будущему музею богатую коллекцию минералов, оригинальные ювелирные изделия, картины и ценный материал, относящийся к истории изучения Урала. Очень долгое время все предпринимаемые попытки терпели неудачу, оставаясь лишь бумажными проектами.
Реализовать столь востребованную и важную для имиджа города и региона идею музея раритетных и современных художественных изделий из драгоценных и поделочных камней удалось только в 1990-е гг. благодаря деятельности Надежды Петровны Пахомовой - гл. хранителя Свердловского областного краеведческого музея, члена Президиума Свердловского отделения Советского фонда культуры. Музей вырос из программы «Мир камня», разработанной Н.П. Пахомовой. В
Музей размещается в самом центре Екатеринбурга, на территории усадьбы бывшей аптеки Екатеринбургского горного ведомства, построенной по проекту известного уральского архитектора М. Малахова в 1821 году. Несмотря на позднейшие переделки, комплекс сохранил типичный для времени постройки облик городской усадьбы эпохи классицизма. Ныне здание музея является памятником архитектуры федерального значения.
В выставочных залах музея посетители могут увидеть золотые, серебряные, малахитовые изделия, самоцветы, коллекции минеральных камней и монет. В камнерезной коллекции хранятся работы уральских кустарей 1920–1930-х гг. В собрании музея представлены все этапы и основные направления деятельности завода «Русские самоцветы», преемника традиций Екатеринбургской Императорской гранильной фабрики, начиная с 1920-х гг и до