Каспаров также завещал средства для строительства каменного забора вокруг армянского кладбища. В конце 1859 г. забор стараниями его душеприказчика И.С. Ананова и И.Е. Багдадова был построен. Это упрочило границы кладбища на случай возможного его уменьшения.
===«Касперовский приют для бедных армян»===
Генерал [[Меликов Павел Моисеевич|Павел Меликов]], который давно вынашивал эту идею и деятельно трудился над её воплощением в жизнь, предложил братьям Лазаревым построить приют для неимущих армян при церкви Сурб Хач. Братья Лазаревы почли открытие такого приюта «достойным рода» и с большим энтузиазмом отнеслись к проекту. «Действительные статские советники [[Лазарев Иван Екимович|Иван Екимович]] и [[Лазарев Христофор Екимович|Христофор Екимович]], будучи всегда наследственными благотворителями бедных армян, содействовали полезному учреждению», поддержали постройку трехэтажного каменного приюта во дворе церкви Сурб Хач, передав в дар на эти цели часть своей собственной прицерковной земли.