Среди погибших в тот раз от рук чекистов были министры Н.А. Добровольский и С.В. Рухлов, князья Николай, Федор и Сергей Урусовы, Владимир и Леонид Шаховские, около 50 генералов и полковников. Были зарублены прославленные генералы от инфантерии - Радко Дмитриев (национальный герой Болгарии) и Н.В. Рузский (бывший главнокомандующий Северным фронтом), которые лечились на Кавказе. Тогда погибли священник и три женщины, одна из них - литератор Эльза Полонская. В ЧК, руководимой Атарбековым в Пятигорске, применялись порки и подобного рода «пресечения». Тюрьма была переполнена.</ref>
В конце 1919 года он появился в Астрахани и 1 февраля был зачислен в число сотрудников политотдела РВС Каспийско-Кавказского фронта. В конце того же месяца организовали Временный военно-революционный комитет Астраханского края (председатель С.М. Киров), который подчинялся Реввоенсовету фронта. Это был своего рода карательный орган, призванный навести порядок. Политкомиссар разведотдела штаба фронта К.Я. Грасис отмечал «недовольство существующей властью местного, особенного калмыцкого и киргизского населения, порожденное неслыханным насилием и издевательством комиссаров». Рабочие устраивали забастовки, одна из них перешла даже в восстание, жестоко подавленное ЧК. До 1500 человек в возрасте от 25 до 42 лет были расстреляны. Кровавая расправа происходила по приказу Особого отдела, которым командовал «железный Геворк». <ref>К началу апреля насчитывалось 4000 жертв, погибших от рук Атарбекова. Расстреливал и собственноручно. Жестокость чекиста, который хвалился, что подчиняется только Кирову, не знала пределов и порождала легенды. Окруженный телохранителями из своих земляков, он наводил ужас на мирное население. Не брезговал ни чем. Особенно любил «блестяще» раскрывать мнимые заговоры. </ref>
Злоупотребление властью и служебным положением, провокационные действия Особого отдела, возглавляемого Атарбековым, грубое попрание человеческих прав, многочисленные аресты, как отмечалось в одном из документов того времени, возмущали население. Самоуправство «железного Геворка», которого сравнивали с «восточным царьком», приобрело настолько скандальный характер, что его по ультимативному требованию Ударной коммунистической роты, во главе которой стоял большевик Аристов, отстранили от должности. Постановление об этом приняли в конце июля 1919 года, а 4 сентября того же года чекист под конвоем был доставлен в Москву. Его дело рассматривалось довольно долго. Специальная комиссия ЦК установила «преступность Атарбекова и других сотрудников Астраханского Особого отдела». Для окончательного приговора материал следствия передан в ЦК РКП (б). Спасли чекиста от наказания влиятельные покровители - Камо, Орджоникидзе и Сталин, которые не только его оправдали, но и повысили в должности.
Когда Мамонтов, прорвав фронт, шел к Москве, Атарбеков по рекомендации Ленина возглавил Особый отдел фронта. В помощь была выделена группа чекистов и даны чрезвычайные права в зоне действия, вплоть до смещения с должностей, в случае необходимости, работников всех рангов, независимо от занимаемых постов, даже революционный трибунал подчинялся Атарбекову. <ref>В партийной литературе приводится немало эпизодов из его жизни. Один из них наиболее показателен. Итак, чекист пополнял свой отряд московской молодежью. Отобрав самых достойных, они с Камо решили устроить будущим бойцам экзамен. Подняв отряд по тревоге, Камо вывез новобранцев на грузовике в лес. Там были инсценированы захват отряда белогвардейцами, допрос и смертная казнь через повешение. Допрашивал и «приводил приговор в исполнение» Атарбеков, переодевшийся в белогвардейскую генеральскую форму. Узнав о таком «эксперименте», Ленин пожурил его организаторов.</ref>
С 1921 г. – председатель Ревкома Армении. Отличался и там невероятной жестокостью.