宋光宗紹熙四年（1193年），白石到了紹興。不知其間他又經過了怎樣的漂泊和跋涉，才來到了這裡。總之，他是倦了。
從前，面對前方望不到盡頭的漫漫旅途，他也倦，卻不似此時這般歸情急迫，以至於他要指水發誓，讓一汪湖水來見證自己思歸的心情。
夜深客子移舟處，兩兩沙禽驚起。紅衣入槳，青燈搖浪，微涼意思。把酒臨風，不思歸去，有如此水。況茂陵遊倦，長幹望久，芳心事，簫聲裡。
屈指歸期尚未，鵲南飛、有人應喜。畫闌桂子，留香小待，提攜影底。我已情多，十年幽夢，略曾如此。甚謝郎、也恨飄零，解道月明千里。
——姜夔《水龍吟》
蘇軾當年為表歸隱決心，亦說過“有田不歸如江水”之語。水不過無情之物，如何能解人情。只因人情觸不到、摸不著，不管怎麼說都是虛空，必傳之於物，才有實感。古時“山無稜，天地合，乃敢與君絕”語，亦是指物為誓，將一腔深情託之於山川天地，便見出它的矢志不渝。
白石說心中歸意，也說得多了，往日不過泛泛地抒羈旅之情，此時卻非要外物來做個見證，彷彿如此才足夠分量。他真是倦了，若他不過孤身一人，心中無思無想，無知無識，來去江湖，倒也不失灑脫逍遙，偏他是心中有牽絆，胸中有抱負，筆下有千言，如此一來，漂泊就成了不得已之事。不得已，便有痛苦。而最痛苦的莫過於念及“長幹望久，芳心事，簫聲裡”，伊人盼望他歸去，已不知盼了多久，一片芳心，無法傳遞，只好訴諸簫管聲裡。
她臨風吹簫、衣袂飄飄的模樣，定是長久地印在了白石的記憶裡。可惜遙遠的簫聲，翻越不了千山萬水，抵達不了他的耳際。他只可於想象中痴想，伊人是如何盼歸心切，一如他思歸的心情：她若聽到喜鵲鳴叫，恐怕也會暗自欣喜，以為這是行人即將歸來的預兆了。
分明是自己痴情，卻將此番痴情移至情人身上，真是一痴再痴。唯其痴情至此，才會對桂花發願，盼那畫欄間的清秋桂子，將香氣留存得久一些，好待他回去後，尚能與伊人攜手月下，於馥郁花香中漫步遊賞。
他將伊人盼歸的心思，歸後情景想象得這般細緻，好似下一步就要結束羈旅生涯，歸去伊人身邊。然而，早在兩年前那個通宵不眠的秋夜裡，白石已在嘆息“衛娘何在”，今日又想要歸去何方呢？
不過是想念罷了。
白石只是太想念她，才會心心念念都是歸去，才會將無從實現的事想象得如此逼真。他自己也知道，是他太多情。多情惹來情債，多情換來十數年的悲歡離合，浮沉起落，多情讓他在歷經情殤後，仍舊不能自拔。
這麼多年過去，白石回過頭去，知曉他曾經渴盼追求的一切，不過如一簾幽夢，轉眼便散了。他伸出手去，只撈回一點時光的殘影，青春、愛情、功名、夢想，好比水上落葉，就這麼輕飄飄地流走了。他站立於三十九歲的尾巴上，回首看來時的路，一切記憶已染上了三十九歲的滄桑和風塵。而當他極目遠望前方時，卻只看到無邊的幽冥，未來沉入濃重的暗影裡，沒有光，也沒有方向。
四十歲應是不惑之年，白石卻覺得這世界影影綽綽的，讓他看不分明，滿心迷惑。過去倒是已經蓋棺論定，所以他能夠感慨一句“略曾如此”，好似《古詩十九首》中那句“生年不滿百，常懷千歲憂”，心靈的一部分還懵懂未覺，穿透不了這個世間茫茫的黑，另一部分卻已如風中殘燭，蒼老得幾乎要毀壞了。
此後將如何呢？白石真是茫然。唯有前塵舊事，因他總是記起，變得愈發清晰，好似一塊被打磨光亮的石子，硌在胸口生疼。可是疼也是好的，切膚的疼痛，總好過麻木。白石如此細緻入微地在腦海中描摹回憶，設想兩地相思，敘及相會情景，何嘗不是在為自己製造疼痛，彷彿非要自虐般地給自己上一場精神的苦刑，這場綿綿無期的思念才有出路。
事實是，他並沒有找到出路。站在此生的分界線上，白石撫今追昔，終於得出一個通透的結論：萬里乾坤，百年身世，唯有此情苦。
疊鼓夜寒，垂燈春淺，匆匆時事如許。倦遊歡意少，俯仰悲今古。江淹又吟恨賦，記當時、送君南浦。萬里乾坤，百年身世，唯有此情苦。
揚州柳垂官路，有輕盈換馬，端正窺戶。酒醒明月下，夢逐潮聲去。文章信美知何用，漫贏得、天涯羇旅。教說與，春來要、尋花伴侶。
——姜夔《玲瓏四犯》
白石詞向來清空，詠物、記事、寫景，都喜歡別開生面，只寫神韻，寫氣度，抒情則百轉千回，或含蓄蘊藉，定要留下足夠空間，因而難得有《玲瓏四犯》這種直露明快之作，許是胸中種種悲情，已到了不吐不快的地步，唯有直白道出。
這一年，白石滯留紹興，寫這首詞時已是歲暮。又是一年年關將近，他又將自己孤身耽擱在了異鄉。別人家都歡天喜地準備過年，他卻仍是局外人，站在別人的熱鬧之外，融不進去。很多次了，他都是這樣聽著鼓聲連連，看著滿街彩燈，淡漠著一個人過一個年。今年，他終是忍不住悲從中來：自年少失怙，浪跡江湖以來，真正的歡樂有幾多？我多麼厭倦這場永無止境的奔波，然而俯仰天地，縱觀今古，如此傷情之人又何止我一個。江淹當初不也吟唱《恨賦》《別賦》，寫下“黯然銷魂者，唯別而已矣”、“送君南浦，傷如之何”的多情句子。
漫漫古今，茫茫天地間，有誰不曾嘗過離恨滋味。世界之大，人生道路之長，也唯有別情最苦。只是，黯然銷魂的，豈是離別之事，當是別時依依不捨之念，別後抱憾飲恨之情，是離別之事給人生帶來的遺憾和缺失。
奔波江湖半生的白石，感受自當格外痛切。
當時年少，白石也曾暢遊名都，走馬章臺，出入樓臺，偎紅倚翠，但當日之浪漫，也不過一場愁夢酒醒，明月亙古永存，逝水亙古東去，唯有他的夢，輕易便碎了。他唯一剩下的才華，可是才華有何用？杜甫說“文章一小技，於道未為尊”，李白更言“吟詩作賦北窗裡，萬言不值一杯水”，連白居易也道“詩稱國手徒為爾，命壓人頭不奈何”，百無一用是書生，滿身才華，不能換取功名，不能助他實現抱負，不能喚回情人，不能給愛情一個現實的歸處，充其量不過為他贏來了一場終生的漂泊罷了。
一句“唯有此情苦”，是給自己前半生下了定論。追溯古今，放眼天下，原來他的苦竟是無可避免的，亦是無可消解的。既是如此，他又如何尋得到出路。他是註定沒有出路，只能在一盤死棋上橫衝直撞、彷徨無措。他的愛情何嘗不是一局死棋，從一開始就是無解的，他卻花了無數的心思，為它無數次地絕望，又無數次燃起希望，直到把一場華美幻覺熬成了刺骨的傷口，才知自己一直在走一條死路。
唯有此情苦，亦是白石對後半生的預感。歲月催逼，他的雙鬢已星星，額間眼角有了清晰紋路，風塵僕僕中，清癯的江湖客就快要老去了，他不大可能在某一日突然大徹大悟，也不會突然改變性子，所以，任他走到哪裡，任年紀如何增長，這百年身世，萬里乾坤中，他始終都要為此情而苦。
也罷，就讓白石在想她的時光裡慢慢老去吧。即使今日只餘下遺憾，美好早已消逝在風中，也沒有什麼能夠侵蝕他的回憶。只不過，他不是那種靠回憶存活的“古之傷心人”，而是試圖藉著每一次對過往美好和遺恨的懷想，以詩的悲哀瓦解生命的悲哀罷了。