天水郡的趙源，父母很早就去世了，一直沒有結婚。有一次，他出外求學到了錢塘縣，住在西湖北邊的葛嶺上。住房的旁邊，就是南宋丞相賈似道賈丘壑原先住的屋子。趙源一個人住著，很無聊。
有一天晚上，他正在門外面散步，忽然看見一個姑娘，打東邊過來了，一身綠色衣服，梳著兩個環形發髻，大概十五六歲的樣子，雖然沒有盛妝濃抹，但姿態面貌遠遠超過了一般人。趙源盯著她看了好久。
第二天出門，又看見她了。一連好幾次，都是這樣，一到晚上就過來了。
趙源跟她開玩笑，說：“您家住哪兒，天天傍晚上這兒來？”
姑娘笑著朝他行了禮，說：“我家與您是鄰居，您自己不認得我罷了。”
趙源試著挑逗挑逗她，姑娘欣然接受，一點兒也沒拒絕。趙源就留下她歇了，兩個人親熱得很。
第二天一早，她就告辭走了。到夜裏，又來了。這樣過去了一個多月，兩個人的感情好極了。
趙源問她的姓名住址，姑娘說：“你只要有個人就行了，何必一定要知道別的！”
趙源一再問她，她說：“我經常穿綠衣服，您叫我綠衣人就行了。”始終不肯告訴趙源，自己究意住在哪兒。
趙源以為她是大戶人家的侍妾女婢，夜裏偷偷出來與他同居，害怕事情泄露出去，張揚開來，所以不肯說實話。因此，趙源也不去往別的方面懷疑。對她的寵愛思念，反倒更加執著親密了。
有一天晚上，趙源多喝了幾杯酒，指著她的衣裳開玩笑說：“這可真是《詩經·邶風·綠衣》中說的‘綠兮衣兮，綠衣黃裳’了啊！”衣是上衣，裳是下裙，黃為正色，該做上衣，現在顛倒過來，黃的做了裙子，綠的反倒做了上衣，詩原來就含著上下顛倒的寓意。姑娘一聽，臉上就有些下不來，連著幾個晚上再不來了。
等到再來的時候，趙源問她為什麼生氣不來，她說：“本來想和你白頭偕老，無奈您把我看成侍妾婢女，讓人忸伲不安，所以一連幾天再不敢來侍候郎君。既然您已經知道了，今兒也不必再隱瞞什麼了，請讓我將詳細情況都給您說說。我與您，是老相識了，今兒個要不是至情感化，也不會到這兒來。”
趙源莫名其妙，問她為什麼這麼說？姑娘很傷心，說：“您這不是為難我嗎？我實在不是今世的人，也不是要給您帶來禍害，大概命中註定要這樣，我們的緣分沒盡啊！”
趙源大驚失色，說：“請您詳細說說。”
姑娘說：“我是已經死去的賈似道丞相的侍女啊！本來是臨安城裏好人家的姑娘，從小擅長下棋。十五歲的時候，以棋童的身份進入相府侍候賈似道。賈似道每次下朝回府，在半閑堂喝酒閑坐，總要叫我來陪他下棋，特別寵愛我。那時，您是他家的男仆，專門負責煎茶。每次因為進去送茶，有機會到後面房間裏去。”
“您那時候年輕，長得很漂亮，我見了很是愛慕，曾經拿一只繡花絲綢小錢包，乘著黑暗扔給了您；您也拿出一只玳瑁做的胭脂盒送給我了。我們兩個心裏都有了意思。但裏外防範嚴密，沒機會親熱。後來被同輩發現，到賈似道跟前說壞話，賈似道逼著我們兩個人一起到西湖斷橋底下自殺了。您如今已經轉世成人，而我卻仍舊是個鬼，這不是命嗎？”說完，不禁哭了起來。趙源也為她感到很傷心。
過了好大一會兒，趙源說：“假如是這樣，那麼，我們兩個就是再世姻緣了，該更加親愛，好償還以前的心願！”從此，綠衣人留在趙源房裏，再不走了。趙源一向不善於下棋，她手把手地教他，將技藝全都教了他，以致平常以下棋著稱的人，都再也下不過他了。
綠衣人每次說到賈似道過去的事，凡她親眼看到的，都歷歷在目，談得非常詳細。
她曾說：有一天，賈似道靠在樓上閑望，一群侍妾婢女在跟前服侍他。恰好有二個人戴著黑巾，穿一身素凈衣服，乘著一只小船打湖裏上岸，一個侍妾情不自禁地贊美說：“美啊，兩個小夥子！”
賈似道說：“你願服侍他們吶？該叫他們送彩禮娶你！”侍妾笑笑，沒說話。
過了一個時辰，賈似道叫人捧著一個盒子，將所有的侍妾使女全都喊到他跟前，說：“剛才接受了人家為某小妾送來的聘禮。”打開一看，竟是某侍妾的腦袋。所有的侍妾使女，全都嚇得戰戰兢兢地退下去了。
賈似道還販過幾百條船的鹽，到京城臨安來賣。太學的太學生特意做了一首詩諷刺他，說：“昨兒夜裏江上湧起滔天碧波，滿船都載著丞相的鹽坨。雖說是要用它來作調味品，調味怕未必能用這麼多！”賈似道聽到報告，立即將這個太學生抓進監獄，判了他誹謗罪。
賈似道曾在浙江推行過所謂公田法，規定按官階大小限定置田數量，多出限額的一律出賣。官府乘機作弊，壓價將人家的好田地都買走了，老百姓大受其苦。
有人在大路左邊題詩說：“襄陽連年被元兵圍困成了一座孤城，當權的只知道養湖山再不出征！壓根兒不知道什麼地方是咽喉重地，又搞什麼公田法枉自殘害蒼生！”賈似道見了，讓人查出來抓了，又流放到很遠很遠的地方。
有一天，賈似道正為一千個道士供應齋飯呢，人已經夠了，最後卻又跑來一個道士，衣衫破爛不堪，硬是在大門口討齋飯。主事的看人數已經夠了，不肯引他進去。可道士說什麼也不走。主事的沒辦法，只好在門邊上盛飯讓他吃了。
吃完飯，道士將盛飯的缽兒倒扣在桌上，拍拍屁股走了。好多人一起出力，想把那只缽兒舉起來，卻根本舉不動！有人跑去報告了賈似道。賈似道親自趕來，輕輕一揭，就揭起來了。裏面有兩句詩，說；“得好休時便好休，收花結子在漳州。”這才知道原來是真仙下凡，沒人認得啊!但始終不知道“漳州”的意思。唉，那時誰知道賈似道要死在漳州木綿庵。
又有一天，有個劃船的艏公，把船停在蘇堤邊上。那時正是三伏天，酷熱，舫公躺在船尾，一夜都沒法兒睡。他看見三個不到一尺高的人，聚集在沙灘上，一個說：“張公來了，怎麼辦呢？”
一個說：“賈丞相不是個仁義的人，決不寬恕！”
一個說：“我是完了，你們還來得及等著看他敗落啊！”三個人一起哭著，跳到水裏去了。
第二天，打漁的張公抓到一只老鱉，有二尺多長，送到府裏去了。沒到三年，就出禍事了。大概動物事先已經知道了，命運是沒法兒逃脫的！
趙源聽了綠衣人的話，問她說；“我今兒個與您相遇，難道也是命運嗎？”
她說：“那是一點兒也不假啊！”
趙源問：“你的精神靈魂，也能長期活在世上嗎？”
她說：“氣數一盡，就該散了！”
趙源又問她：“那是什麼時候呢？”
她說：“三年罷了。”趙源也不那麼相信。
三年一到，她果然一病不起了。
趙源想為她請個醫生，姑娘不願意，說：“從前我已經跟您說過，姻緣投合、夫婦感情，到這裏就完了！”她握著趙源的胳膊，與他訣別說：“我不過是個女鬼，卻能服侍郎君，承蒙您一點兒不嫌棄我，一起相處了這麼長時間！過去僅僅因為私下裏的一個念頭，我們就陷進了殺身大禍之中！但海枯石爛，這一腔仇恨難以消除！天荒地老，這一派感情永不泯滅！如今有幸繼續前生的感情，實現上世的海誓山盟，到今兒個三年，已經心滿意足！請從此告別，再不要思念我了！”說完，翻身朝墻躺著，再喊她也不答應了。
趙源傷心極了，痛哭了一場，為她置辦棺材收殮了。臨安了葬的時候，奇怪棺材特輕。打開一看，只有衣服、耳環、金釵之類的東西，人早就沒了。趙源便將棺材，假葬在北山山坡上了。
趙源因為感念姑娘的情愛，再沒有娶人，直接去靈隱寺出家當了和尚，過了一輩子。
參考資料《剪燈新話》