得体の知れない憂鬱に支配された「私」は、肺病を患い、借金を抱えながら京都の街を彷徨っている。かつて愛した音楽や詩も楽しめず、見すぼらしく美しいものや安価な玩具に心を慰める日々を送っていた。ある日、いつものように街を歩き回っていた「私」は果物屋で一個のレモンを購入する。その瞬間、長らく心を圧迫していた不吉な塊が和らぎ、レモンの冷たさと香りに生気を取り戻す。幸福感に包まれて丸善書店に入るが、やがて再び憂鬱に襲われ、画集を次々と抜き出しては積み上げてしまう。そこでレモンを思い出した「私」は、色とりどりの本で奇怪な城を築き、その頂上にレモンを置く。