Батько оповідача займає дуже важливу посаду в губернському місті. Людина він важкий, похмурий, мовчазний і жорстокий. Невисокий, щільний, сутулуватий, темний і большеносий, зовні він нагадує ворона. Батько давно вдовеет, дітей у нього двоє - оповідач і його маленька сестра Ліля. Вся сім'я живе в просторій казенній квартирі.
Більше півроку оповідач провів в Москві, навчався в Катковському ліцеї. Навесні, закінчивши ліцей, він приїжджає додому і уражається змін, які відбувалися в житті його родини. Перш холодний і темний будинок осяває присутність нової няні восьмирічної Лілі - бідної дівчини Олени, дочки дрібного підлеглого батька, худенькою, білявою, з тонким ніжним обличчям. Вона рада, що добре влаштувалася відразу після гімназії, а також приїзду оповідача, появи в будинку однолітка. При батька вона боїться, постійно з тривогою стежить за мовчазною, злий, різкою Лілею.
Вечорами батько завжди п'є чай, а за самоваром сидить Олена. Батько каже дивні речі, наприклад, про те, що білявим жінкам йдуть сукні з чорного або яскраво-червоного оксамиту з рубіновим хрестиком. Він додає, що все це тільки мрії, тому що батько Олени отримує маленьку зарплату, а дітей у нього, крім Олени ще п'ять чоловік, і їй, швидше за все, доведеться прожити в бідності. Оповідач він говорить, що навряд чи він отримає його спадщину тому, що «не дуже-то він тата своєю любов'ю шанує».
Оповідач з Оленою закохуються одне в одного, обнімаються і цілуються під час коротких зустрічей. Одного разу батько бачить це і висилає оповідача в свою Самарську село на все літо, а восени велить знайти собі службу в Москві або Петербурзі і погрожує в разі неслухняності позбавити спадщини.
В ту ж ніч оповідач їде до одного з ліцейських товаришів в село Ярославської губернії і живе у нього до осені. Восени, за протекцією батька товариша, оповідач надходить до міністерства закордонних справ в Петербурзі. Він пише батькові, що відмовляється від спадщини і будь-якої допомоги.
Взимку оповідач дізнається, що батько залишив службу і переїхав до Петербурга «з чарівною молодою дружиною». Одного разу оповідач зауважує їх в ложі Маріїнського театру. Дружина батька Олена одягнена в сукню з яскраво-червоного оксамиту, на шийці у неї виблискує рубіновий хрестик.
