Здание принадлежало ему до 1918 года.
Грязев А. М. был купцом первой гильдии, владельцем крупного лесозавода, первого в стране по технической оснащённости (на нём впервые было внедрено электропиление), членом Посадской думы Дубовки, образованнейшим человеком. Грязев одним из первых в Дубовке имел автомобиль. На праздники по его приказу пекли много угощений, которые раскладывали в матерчатые сумочки, и кучер развозил их дубовчанам.
Проживал А. М. Грязев по улице Немецкой (ныне улица 30 лет Победы). Дом Грязева (1888 г) был создан на месте уже существовавших старых построек “фамильного гнезда”. В проектировании дома несомненно участие профессионального архитектора, хотя его авторство не установлено. Опытные подрядчики и артели строителей в Дубовке издавна были свои, местные. Это был большой особняк с электричеством, камином, балконами, сочетавшее правильную архитектурную планировку с богатым внешним кирпичным декором в ”русском стиле”. Интерьер, сохранившийся значительными фрагментами, отличался многостильем убранства. Вся усадьба была обнесена высокой стеной на уровне второго этажа. Рядом по другую сторону стены находился дом прислуги. Кроме этого были конный двор, конюшня, пекарня, кухня, склады и прачечная. Все было построено из кирпича для защиты от пожаров. Третий этаж был надстроен после 1938 г.
Большую часть дома занимала семья купца. У А. М. Грязева было много детей: Ефалия, Римма, Александр, Геннадий, Модест, Олимпий, но почти все умерли в детстве. Взрослой умерла от туберкулёза любимица всей семьи – дочь Римма. На её похоронах присутствовала вся Дубовка. Долго хранили родители её комнату с камином и выходом на балкон на втором этаже, украшенную лепными украшениями в виде ангелов. Ныне украшения утеряны, но сохранилось в памяти о родительской печали каменное изваяние голубки, раскинувшей крылья над воротами.
В 1919 году в здании колледжа размещался штаб Первой конной армии Семёна Михайловича Будённого