出发之日，与紫姬从容谈心，直至日暮，照例于夜深时分启程。公子身穿布衣便服，旅装极度简陋。对紫姬吟道：“但教坚守终身誓，偶尔生离不足论。想必是短暂的。”紫姬答道：“痴心欲舍微躯命，换得行人片刻留。”源氏公子见她如此痴心相爱，便觉难于抛舍。但天明后人目众多，有所不便，只得硬着心肠出发了。一路行去，源氏公子即景赋诗：“屈原名字留千古，逐客去向叹渺茫。”
源氏公子到了地方，召集附近领地里的吏目，命令他们从事土木工程。过了不久，土木工程已楚楚可观。这住处便不再像一个旅舍，而是天天有许多人出入了。然而终无情投意合之人可以共话，仍有远客他乡之感，心情不免郁结。
安定以后，遥念京华旧事，可恋之人甚多：紫姬定多愁苦；太子近况如何；小公子夕雾想必依旧无心无思，嬉戏度日吧？给藤壶、花散里均有私信。师姑藤壶皇后关念皇太子前程，其忧伤之深，自不必说。她的回信，有这样的话：“近来只是身证菩提心积恨，经年红泪湿袈裟。”尚侍胧月夜的回信中说：“为防世上千人目，闷煞心中万斛/愁。其余之事，可想而知，恕不详述。”紫姬的回信，附诗一首：“海客潮侵袖，居人泪湿襟。请将襟比袖，谁重复谁轻？”紫姬送来的衣服，色彩与式样都非常雅观。源氏公子想：“此人事事擅长，使我如意称心。若无此变，现在我正可摒除一切烦恼，断绝一切牵累，与此人共度安闲岁月。”左大臣的回信中叙述着小公子夕雾的近况，写得十分可怜。
对了，对了，只因头绪纷繁，不觉遗漏了一个人：六条妃子伊势斋宫处，源氏公子也曾遣使送信去。六条妃子也特地遣使送来回信。她的回信情意缠绵。措词之妥帖与笔致之优秀，与众不同，确有高雅的风度。其中有云：“足下所居之处，似非现实世间。我等闻此消息，几疑身在梦中。思量起来，总不致长年离京远客吧。但我身前世罪孽深重，再见之日，遥遥无期矣。但愿须磨流放客，垂怜伊势隐居人。这个万事全非的世间，不知将来如何结果啊？”此外话语甚多。另有一诗云：“君有佳期重返里，我无生趣永飘零。”六条夫人多情善感，写此信时，几度搁笔长叹，方得写成。用白色中国纸四五张不拘行格，笔情墨趣异常优美。公子回道：今生永伴愁和泪，怅望须磨浦上云。再会之期，渺茫难知。思想起来，好不愁闷人也！”
花散里收到了源氏公子的信，附诗云：“愁看蔓草封堦砌，泪涌如泉袖不干。”
那个尚侍胧月夜，为了与源氏公子的私情被人察破，成了世间笑柄，羞愤之余，心情异常消沉。右大臣一向特别疼爱这女儿，便屡次向太后说情，又上奏朱雀帝。朱雀帝认为她并不是有身份的女御或更衣，只是个朝中的女官，就宽恕了她。后来他对胧月夜说：“你至今不曾替我生个皇子，真是遗憾。我想遵循父皇遗命，让皇太子即帝位。可是其间阻碍甚多，教人好生烦恼！” 此时他早已有退位隐遁的打算。
须磨浦上，萧瑟的秋风吹来了。四面秋风猛厉，那波涛声越来越高，公子预感凄楚。吟诗道：
“涛声哀似离人泣，疑有风从故国来。”公子与侍从做诗闲谈，此时一轮明月升上天空。源氏公子想起今天是十五之夜，便有无穷往事涌上心头。遥想清凉殿上，正在饮酒作乐，令人不胜艳羡；南宫北馆，定有无数愁人，对月长叹。于是凝望月色，冥想京都种种情状。继而朗吟“二千里外故人心”，闻者照例感动流泪。左右劝道：“夜深了，请公子安息去也。”
且说京中自从源氏公子去后，兄弟辈的诸皇子以及向来与公子亲善的诸公卿，起初常有书信寄来须磨慰问，并有诗文互相赠答。太后听到他们唱和，骂道：“获罪于朝廷的人，不得任意行动，连饮食之事也不得自由。现在这个源氏在流放地造起风雅的邸宅来，又做诗文诽谤朝政，居然也有人附和他，像跟着赵高指鹿为马一样。”诸皇子害怕起来，就不再有人敢和源氏通信了。
源氏公子在须磨，日子渐久，恋念紫姬之心无法忍耐，极想接她来此同居。但念自身为了宿世孽障，流离至此，岂可再拉这可爱的人儿落水？终觉此事不妥，便打消了这念头。
冬天，雪大得可怕。源氏公子怅望长空，不胜凄凉之感，想起了古昔汉皇遣嫁胡国的王昭君。设想这女子倘是我自己所爱之人，我将何等悲伤！情不自禁高声朗诵大江朝纲《王昭君》：“翠黛红颜锦绣妆，泣寻沙塞出家乡。边风吹断秋心绪，陇水流添夜泪行。胡角一声霜后梦，汉宫万里月前肠。昭君若赠黄金赂，定是终身奉帝王。”。这一晚照例不能入睡。
且说那明石浦，离须磨浦极近， 明石道人生性高傲，世无其匹。此时听说源氏公子客居须磨，便对他夫人说：“桐壶更衣所生的源氏光华公子，因为得罪朝廷，迁居到须磨浦来了。我们的女儿前世积德，故能碰到这种意外的幸运。把女儿嫁给他吧。”夫人答道：“千万使不得！听京中人说，这个人娶的身份高贵的夫人，不知多多少少。并且东偷西摸，连皇上的妃子都触犯到，为此闹得天翻地覆。这个人哪里会把我们这种乡下姑娘放在心上呢？”明石道人冒起火来，说道：“你不懂事！我自有道理。快准备起来吧。”道人又对夫人说：“你知道源氏公子是怎样的人？他已故的母后桐壶妃子，是我已故叔父按察大纳言的女儿。我虽然是乡下人，但和公子有上述的因缘，想他决不会唾弃我。”他家的这位小姐呢，虽然不是一个绝色美女，但亦温顺优雅，聪明伶俐，并不亚于身份高贵的女子。
公子与侍从在海边诵经。忽然风起云涌，天昏地黑。大雨突如其来，声势异常猛烈。众人心慌意乱，叹道：“照这光景，世界要毁灭了！”独有源氏公子从容不迫地坐着诵经。将近破晓，诸人均已酣眠，源氏公子亦稍稍入睡。梦见一个素不相识的人，走进室内，叫道：“刚才大王召唤，为何不到？”便向各处寻找源氏公子。公子惊醒，想道：“听说海龙王最爱美貌之人，想是看中我了。”这就使得他更加恐惧，觉得这海边越发不堪久居了。
