Имя вороватого члена семьи было запрещено упоминать в документах императорского дома. Николая лишили наследства и вычеркнули из армейских списков, а в частной жизни ему всегда приходилось быть на страже. За первые 7 лет опальный князь сменил 10 мест ссылки. Князь жил на Украине, в Поволжье, Туркестане.
После истории с бриллиантами у князя завязались отношения с Александрой Демидовой, за которой Романов 3 года ухаживал. Она повсюду следовала за беглецом и, по мнению царских родственников, плохо на него влияла. В 1878 году князь женился на Надежде Александровне, дочери начальника полиции Оренбурга Дрейера, на которую он переписал свои деловые активы. Этот долгий брак был гражданским и не был признан церковью.
