Отец Гагина Николай после смерти своей жены увёз Гагина в деревню и 12 лет никуда не выезжал, занимаясь воспитанием сына. Приехавший из Петербурга в деревню дядя Гагина уговорил своего брата, чтобы Николай отдал ему на руки Гагина. Гагин остался с дядей. В Петербурге Гагин поступил в юнкерскую школу, затем перешёл в гвардейский полк. Каждый год Гагин приезжал в деревню к отцу. После смерти отца двадцатилетний Гагин привёз в Петербург дочь своего отца Николая и Татьяны Васильевны, бывшей горничной своей матери, тринадцатилетнюю Асю. Ася 4 года жила в пансионе. Когда Асе исполнилось 17 лет, Гагин ушёл в отставку и вместе с Асей уехал в Германию, где Гагин занимался живописью.
