Вернувшись в Тифлис, он принял активное участие в создании музыкального училища. В качестве компаньонов он привлек еще двух музыкантов — певца Х. И. Саванели и хормейстера А. И. Мизандари. В 1871 году они втроем основали первую в Грузии музыкальную школу, которая вскоре превратилась в подлинный очаг музыкальной культуры.
В 1882 году в Петербурге организовалось Императорское музыкальное общество, и Костантин Михайлович был избран в его первый директоратдиректор.
В 1898 году в Тифлисе началось строительство здания музыкального училища (будущей консерватории) с концертным залом на 300 мест. Приобретение участка и возведение здания обошлось в 45 тысяч рублей. Для зала надо было еще 16 тысяч, которые пожертвовал Константин Михайлович Алиханов.