Константин Григорьевич Айвазовский после переселения в Феодосию женился на местной армянке Рипсиме (1784—1860), и от этого брака родились три дочери и два сына — Ованнес (Иван) и Саргис (впоследствии в монашестве — Габриэл).
Первоначально торговые дела Айвазовского шли успешно, но во время эпидемии чумы 1812 года он разорился.