Он поддерживал постоянные связи со многими деятелями Коммунистической партии, работавшими в Закавказье, давал инструкции полпредам РСФСР в Грузии и Армении С. М. Кирову и Б. В. Леграну, участвовал в выработке условий Московского договора 1921.
В марте 1918—20 1918—1920 заместитель народного комиссара по иностранным делам.
В 1921 полпред в Польше, с сентября 1923 по август 1926 полпред в Китае.
В середине 1920-х призывал востоковедов к переориентации с проблем классической древности и Средневековья на злободневные, актуальные темы. <ref>Позиция Карахана была по тем временам логичной и достаточно умеренной: он признавал большое значение фундаментальных иссл-ний восточных культур и подчеркивал необходимость знания восточных яз., однако в последующие годы требования властей все большей "актуальности" привели к тому, что господствующим занятием стало изучение политической и экономической жизни стран Востока без знания восточных яз.</ref>
В 1927—34 1927—1934 заместитель наркома иностранных дел, затем (до 3 мая 1937) посол в Турции.
Избирался членом ЦИК СССР.