父亲的不尽职责，母亲的自我牺牲，在香奈儿心中留下了难以消除的影响。没有父母的陪伴，香奈儿喜欢到教堂的墓地里玩耍，尽管这里并没有埋葬着她的任何一个直系亲属。她带着礼物，包括鲜花、叉子、勺子和其他能从家里拿出来的物品，绕着坟墓一一摊开。她喜欢对着墓碑说话，后来她解释说，因为她更喜欢向死者敞开心扉。 1889年，当香奈儿长到6岁时，她的母亲让娜在一个贸易城镇里又为她添了一个小弟弟，名唤吕西安。而当香奈儿11岁时，让娜的身体陷入了难以抵挡的衰退中，在2月一个寒冷的早晨，年仅32岁的她在寂静中离开了这个世界，而当时她的丈夫依然还在路上。香奈儿后来断言她的母亲死于结核病，不过长期漂泊、贫困和反复怀孕都有可能是死因。 香奈儿失去了母亲，她的父亲阿尔贝再也没有出现。这个男人留下了5个孩子，不知道又漂到了哪里，或许，在他的心里从来都没有认识到自己是一个父亲。 很快，香奈儿三姐妹就被送到了奥巴辛孤儿院，她的两个弟弟则被“寄养”在一个农家，从8岁起就成为了不用付酬的童工。相较于弟弟们的遭遇，香奈儿姐妹还算是幸运的。奥巴辛孤儿院由玛丽圣心会的修女管理，女孩们在这里可以拥有学习功课的机会，虽然她们也要学着给床单缝边，给婴儿织毛衣。 如同隐瞒自己最初的出生地点一样，香奈儿在成名后也始终不承认自己是被父亲抛弃的。她在孤儿院里，经常昂首挺胸地对同学说，父亲正在美国寻找发迹的机会，他很快就会来接自己回家的。她甚至将孤儿院的这段生活描绘成是在姨妈家度过的，并绘声绘色地描述了遭到凶狠姨妈拧耳朵的场景。