光源氏が内大臣に昇進し、新帝の時代となった頃、源氏は以前のような恋の遊びに興味を失いつつあった。六条御息所は源氏の愛の薄さに悩み、娘の斎宮とともに伊勢へ下ることを考えていた。一方、正妻の葵の上は妊娠しており、源氏も我が子を宿した妻に新たな愛情を感じ始めていた。
加茂祭の御禊見物の日、葵の上は女房たちに勧められて物見車で見物に出かける。その際、六条御息所の車と場所を争う事件が起こる。左大臣家の従者たちが御息所の車を奥に押しやり、御息所は屈辱的な思いをする。源氏の美しい行列の姿を見ながらも、自分だけが冷遇されている現実を痛感した御息所は深く傷つく。
翌日の祭りで源氏はこの件を知り、御息所に同情して謝罪に向かうが、斎宮がいることを理由に面会を断られる。源氏は二条院で紫の上と過ごし、髪そぎの儀式を行う。その後祭り見物に出かけた源氏のもとに、ある女性から扇で合図が送られる。この車争いの事件は、後に起こる悲劇的な物の怪騒動の序章となる、源氏と二人の女性の複雑な三角関係を描いた物語である。