В 1842 году Каспаров учредил две именные стипендии для армян-сирот, воспитанников [[Лазаревский институт восточных языков|ЛИВЯ]].
В Совете "Приюта" принимали участие самые известные армяне Москвы, такие как [[Ананов]], [[Лианозов Георгий Мартынович|Лианозов]], [[Джамгаров]], [[Саарбеков]], [[Багдадов]], [[Джанумов]], [[Кусикян]] и многие другие.
Каспаров также завещал средства для строительства каменного забора вокруг армянского кладбища. В конце 1859 г. забор стараниями его душеприказчика И.С. Ананова и И.Е. Багдадова был построен. Это упрочило границы кладбища на случай возможного его уменьшения.