Через кілька років щасливого шлюбу чоловік зауважує, що дружина приховує від нього щось, пов'язане з її минулим життям. Шерлок Холмс з'ясовує, що у жінки є чорношкіра дочка.
До Шерлоку Холмсу звертається за допомогою містер Грант Монро. Три роки тому він одружився на жінці, яку щиро полюбив. Еффі, його дружина, в юності поїхала в Америку. Там вона вийшла заміж за адвоката, у неї народилася дитина, але чоловік з дитиною померли від жовтої лихоманки. Містер Монро бачив свідоцтво про смерть чоловіка Еффі. Чоловік залишив Еффі хороший спадок, і, повернувшись до Англії, вона змогла жити безбідно. Сам містер Монро торгує хмелем і має непоганий прибуток, так що потреби сім'я Монро не відчуває. Коли вони одружилися, Еффі проти його волі перевела на його ім'я своє стан. Весь цей час вони були щасливі, але кілька днів тому Еффі попросила велику суму, не пояснивши, на що.
Незабаром в один з порожніх котеджів навпаки їх будинку заселилися люди. У його вікні містер Монро випадково побачив страшне, неприродно-жовтого кольору обличчя. Він з цікавості постукав у двері таємничого будинку. Йому відкрила непривітна жінка, відмовилася від запропонованої допомоги і зачинила перед ним двері.
Удома він ненароком розповів про це дружині. Вночі крізь сон він побачив, як дружина одяглася і пішла.Вранці вона сказала, що їй стало душно, і вона вирішила прогулятися, але чоловік зрозумів, що вона бреше. У той же день він зауважив, що його дружина виходить з котеджу навпаки. На його питання вона відмовилася відповідати, тільки сказала, що якщо він хоче, вони поїдуть звідси, і перед ним вона чесна. Проте, дружина продовжувала відвідувати котедж. Не витримавши, містер Монро зайшов туди. У будинку було порожньо, але в кімнаті він побачив фотографію дружини, зроблену нещодавно. Дружина навідріз відмовилася давати будь-які пояснення.
Великий сищик обмірковує сказане. Про минулому житті місіс Монро її чоловікові нічого невідомо, він не бачив навіть фотографії її першого чоловіка, ніяких зв'язків з Америкою вона не підтримує. Особа в вікні справило на містера Монро неприємне враження дивним кольором і нерухомістю. Холмс передбачає, що в котеджі, який знятий на гроші місіс Монро, знаходиться її перший чоловік, шантажує жінку.
На прохання містера Монро, Холмс разом з ним заходить в котедж. Там вони бачать маленьку дівчинку в рукавичках з мертво-жовтим обличчям. Що стоїть поруч місіс Монро просить не думати нічого поганого. Холмс знімає з дитини маску, і дівчинка виявляється негритянка. Місіс Монро пояснює, що її перший чоловік був негр. Він і дитина захворіли, чоловік помер, але дитина залишилася живою. Місіс Монро приїхала в Англію, а дочка залишила в Америці, щоб дівчинка зміцніла після хвороби. Вона не думала відмовлятися від дочки, але зустріла містера Монро і побоялася зізнатися йому, що у неї чорний дитина.
Поцілувавши дівчинку, містер Монро бере за руку дружину і каже, що вони все обговорять будинку.