С 1839 - полковник Интендантского управления Отдельного Кавказского корпуса. В этом учреждении, где тратились огромные государственные средства, он ввел строгий порядок и дисциплину, усмирил служащих, выступив в роли неподкупного стража интересов казны, и так он управлял несколько лет, пока не ушел с этой должности.
Приблизительно в 1853 г. умерла его жена — Агриппина, Еремиа вторично не женился, он пытался заменить детям мать и поэтому полностью посвятил себя семье.
В 1854 - когда началась Крымская война, Арцруни получил телеграмму от военного министра, которой его оповещали о том, что он, с одобрения императора Николая, назначается общим интендантом действующей армии в Крыму. Хоти и было большой честью быть удостоенным такого внимания, Арцруни отказался от этой важной должности. Он поспешил в Петербург и лично просил военного министра освободить его от этой должности. Главной причиной было то, что у него было 8 детей, которых он не мог оставить без опеки. Его просьба была уважена, и он вновь возвратился в лоно своей семьи.