此后，源氏公子常常偷偷地来内宅和明石姬幽会。两处相距稍远，频频来往，自然要提防爱管闲事的渔夫撞见，因此足迹稍疏。此时明石姬便悲叹：“果然不出我所料！”明石道人也怀疑公子变心，实在也很可怜！源氏公子仔细寻思：如果风声泄露，被紫姬知道，虽然我是逢场作戏，她一定恨我欺瞒她，因而疏远我，这倒是对她不起，并且我也很可耻。由此可知他对紫姬爱情特别深厚。他回想过去：“那时我常做不端之事，使得这位宽宏大量的夫人也时时为我而懊恼。我为什么要做这种无聊消遣，使她如此受气呢？”后悔之余，虽然面对明石姬的芳姿，也不能慰藉对紫姬的恋慕。便写一封比平常更加详细的信给她，信中有云：“我真无颜启口：往日疏狂成性，做下种种不端行为，屡屡劳君烦恼。回想起来，已觉痛心难堪，岂知今日在此远浦，又做了这个无聊的噩梦！今我不问自招，先将此事奉告，务请体察我这点诚实之心，委屈原谅！正如古歌所云：‘我心倘背白头誓，天地神明请共诛。’”后面又写道：“总之，我是远浦寻花柳，逢场作戏看。思君肠欲断，夜夜泪汍澜。”
紫姬的回信中并不太过介意，语气非常和蔼。末了写道：“承蒙不欺，以梦情见告，闻讯之下，胸中顿起无限思量。须知山盟海誓如磐石，海水安能漫过山？”大体语气和缓。但字里行间，显然含有言外之意。源氏公子读了这信，深为感动，一时不忍释手。为欲对紫姬表示忠诚，此后许久不与明石姬幽会。
明石姬看见源氏公子许久不来，认为果然不出所料，便觉十分悲伤，现在真恨不得投海了事。以前单靠残年的父母照拂，不知何时始能像别人一样享受幸福。但在这春花秋月等闲度的期间，倒也并不感到何等痛苦。当时虽然也曾推想恋爱结婚生活难免种种忧恼，但料不到如此之可悲。然而她在源氏公子面前，并不泄露苦情，依旧和颜悦色。源氏公子与明石姬相处日久，爱情日深。然而想起家中紫姬独守空床，为丈夫薄情而伤心，便觉十分抱歉。因此独眠之日甚多。
匆匆过了年关。是年春，今上朱雀帝患病。传位之事，引起世间种种议论。朱雀帝的后宫，即新任右大臣的女儿承香殿女御，曾经生下一位皇子，但年仅二岁，未免太幼稚了。因此皇位应该传给藤壶皇后所生皇太子。选定新帝的辅相，朱雀帝屈指计算，认为只有源氏公子最为适当。但此人正流放在外，实甚可惜，实在是朝廷一大损失。因此他就不顾弘太后反对，决定赦免源氏之罪。便于七月二十过后再度降下圣旨，催促源氏从速返京。
源氏公子知道将来终有返京之日。然而人世无常，变化不测，结局如何，孰能预料？因此常常愁叹。正在此时，突然接到了催促归京的圣旨。
返京之前这期间，源氏公子与明石姬夜夜欢聚。从六月起，明石姬怀了孕，身体常感不适。到了即将与她分别的时候，源氏对她的爱情竟比以前更加深厚了。
随从诸人闻知即可返京，将与父母妻小团聚，各自欢欣。京中派来迎接的人也到了。人人喜形于色，只有主人明石道人涕泪满襟。
启程之期就在明后天，今天和往常不同，不到夜深，源氏公子便到了明石姬家。往日都因夜深，不曾细看明石姬的容颜。今天仔细端详，觉得这女子品貌端装，气度高雅，竟是一个意外优越的美人，就此抛舍，实在万分可惜！总得考虑办法，迎接她到京都。他便用这话来安慰明石姬。在明石姬看来，这个男子相貌之优美，自然不消多说。现在这个俏郎君愁容可掬，热泪频流，怀着无限柔情而对我伤离惜别，在我这女子看来，竟觉得仅乎享受这点情爱，已经十分幸福，此外岂敢更有奢望？然而想起了此人如此优越，而我身如此微贱，又觉得无限伤心。此时秋风送来的浪涛之声，异常凄惨。
源氏公子倾慕明石姬的琴艺，却不曾听赏，引为恨事。此时便对她说：“分携在即，可否为我弹奏一曲，以为临别纪念？”明石姬听了源氏弹奏的琴筝，竟泪如雨下，无法抑止。感动之余，也取过琴来，轻轻地弹出一调，曲趣高雅之极。源氏公子以前听到藤壶皇后弹琴，认为今世独一无二。她的手法艳丽入时，牵惹人心，使听者闻音而想象弹者的美貌，真是高雅无比的妙技。这位明石姬的表演呢，风流蕴藉，典雅清幽，令人听了心生妒忌。她所弹的乐曲从来少有人知。长于斯的源氏公子，也从来不曾听到过如此优美可爱而沁人心肺的曲调。对她说：“谨将此琴奉赠，在我俩将来合奏以前，请视此为纪念物。”明石姬即席口占，不加修饰地吟道：“信口开河说，我姑记在心。从今琴韵里，和泪苦思君。”源氏公子抱怨地答道：“临别留遗念，弓弦不变音。愿卿心似此，永不忘前情。在这根弦线没有变音以前，我俩必定相逢。”他以此向明石姬保证。但明石姬顾不得将来，只管为目前的别离而伤心饮泣，这原也是人情之常。
明石道人今天的送别，实在体面之极！凡随从人等，直至最低位的仆役，都受赠珍贵的旅行服装。明石姬附一首诗：“旅衫亲手制，热泪未曾干。只恐襟太湿，郎君不要穿。”源氏公子匆匆答道：“屈指重逢日，相思苦不禁。从今披此服，睹物怀斯人。”他想此乃一片诚意，便换上了明石姬亲手缝制的旅装，并将平时常穿的那件衣服送给了明石姬。这又使她增添了一种引起悲伤的纪念物。这衣服上浓香不散，安得不教人相思刻骨呢？自从源氏公子去后，明石道人竟然变得起居困难，行步蹒跚了。明石姬本人的悲伤之情，更加不可言喻。此身竟被遗弃，此恨难以自慰。
公子回到京都到了二条院私邸，所有人为着重逢欢喜若狂。不久，源氏公子恢复了官爵，又升任了权大纳言。凡以前因公子而贬斥的人，都恢复了原官位。其欣欣向荣之状，正如枯木逢春，实甚可喜。
