山東青島嶗山下清宮裏，花木繁茂，其中的耐冬有兩丈高，幾十圍粗，牡丹有一丈多高。每當花開時節，下清宮掩映於一片紅花綠葉之中，更是璀璨似錦。
下清宮不僅風光秀麗而且環境幽雅，所以膠州書生黃陽就住在這裏讀書。
一天，黃陽從窗子裏突然看見花叢中閃動著一個年輕女郎的漂亮身影，她那白色衣裳和各色鮮花相互映襯著，顯得格外悅目。
黃陽心中不覺驚詫，暗想：這裏是深山中的一座道觀，哪裏會出來個女郎呢？
黃陽立刻大步走了出去，想看清楚這女郎是從哪裏來的。誰知他走到外邊，那女郎已經不見了。
此後，黃陽又多次看見那女郎的身影在花叢中出現，可每當他走出外邊要看個究竟，卻都撲了個空。
黃陽索性躲藏在樹叢當中，一心想等她出來。等了好久，那個穿白衣裳的女郎果然又來了。這次，不止她一個，旁邊還挽著一個穿紅衣裳的女郎，兩人慢慢地往這邊走來。
黃陽遠遠地看著這兩個女郎，一個比一個漂亮，簡直是世間無雙，黃陽看的兩眼發直，神魂顛倒。
兩個女郎漸漸向黃陽走來，那個穿紅衣裳的女郎突然往後退，一面對同伴說：“這兒有生人！”
這時，黃陽突然走出來，兩個女郎吃驚地跑開了。她們的衣袖和裙子都飄拂起來，發出一陣濃郁的香氣。黃陽在後面緊緊追趕，等他追過短墻就再也看不見她們一點蹤影。
自此之後，黃陽對那個穿白衣裳的女郎更加愛慕，經常來到花叢中徘徊，盼望著看到她的身影。
為了表達對她的愛慕之情，黃陽還在樹下題了這樣的一首詩：“無限相思苦，含情對短窗。恐歸沙咤利，何處覓無雙？”
原來詩中有兩個典故。一個是說有位叫沙咤利的番將，無端把一位叫韓翊的妻子柳氏搶去了。
另一個典故是說，有位叫無雙的女郎，本來已經和一位叫王仙客的男子訂立了婚約，後來卻被皇帝強迫收進皇宮去了。
黃陽自然是借題詩來抒發感情，拿詩中人物來作比喻。題完詩，他回到書齋悶坐，越發想念那女郎。
這時，那個穿白衣裳的女郎，竟然自己走了進來。黃陽一見，不覺又驚又喜，急忙起來歡迎。
那女郎笑道：“剛才，你氣勢洶洶，好像一個強盜，叫人家害怕。沒想到你原來是個風雅才子，這樣，就無妨與你相見了。”黃陽喜不自禁，笑笑地問她叫什麼名字，怎麼來到這個地方。
那女郎莞爾一笑說：“我叫香玉，從小被賣到妓院。現在又被這裏的道士關在觀裏，這實在不好受啊！”
黃陽一聽這話，立即表示要替她打抱不平，問她這個道士叫什麼名字，不管怎麼樣都要幫她解脫，並洗去這身汙垢。
香玉連連擺著手說：“謝謝你，不必了，他也不敢怎麼逼我。我呆在這個清幽地方，還可借此與你這個風流書生長期相會，這也是挺好的嘛！”
黃陽忽又想起經常和香玉在一起的那位女郎，不由得問：“那個穿紅衣裳的女郎是誰？”
香玉答道：“她叫絳雪，是我的幹姐姐。”他倆靠在床上，親熱地談著，不覺時光已慢慢過去。香玉看見窗欞已顯示了紅色曙光，站起來準備告辭。
黃陽讓她多坐一會，臉上流露出依依不舍的神態。香玉說深蒙黃陽日前題詩思念，現在回敬一首，請莫見笑，說罷隨即念道：“良夜更易盡，朝暾已上窗。願如梁上燕，棲處自成雙。”
黃陽聽完香玉的詩，上前拉住她的手，高興地說：“你不僅長得漂亮，也很聰明，真能攝人心魄。你這一去，若一天不來，我就會覺得與你相距千裏。請你抽空就來不要等到黃昏以後。”香玉點了點頭，又深情地看了黃陽一眼，便離去了。
從此以後，香玉經常到書齋來與黃陽相會。有時黃陽不免想起絳雪，叫香玉請她一起來玩，可每回請她，她都不肯來。
香玉只好解釋說，絳雪的性情跟她不一樣，是不肯輕易親近別人的，不像她這樣癡情。不過她可以慢慢勸說絳雪，不要過於著急。
一天晚上，香玉臉帶愁容，眼含熱淚，急匆匆地到來對黃陽說：“你得隴望蜀，如今隴都不能守了，還望什麼蜀呢？眼下我倆就要長別了。”
黃陽著急地問：“你要往哪裏去？”香玉抹著眼淚說：“這也是定數，難對你說。昔日你的那一句詩，如今成了預言了。我還記得另一首詩的兩句，佳人已屬沙咤利，義士今無古押衙。這正是說的是我呀！可過去佳人無雙給番將沙咤利搶去，尚有古押衙這位義士幫助解救。”
黃陽追問她到底是怎麼回事，她只是鳴咽，不說話。香玉就這樣哭著坐了一夜，第二天一清早她就走了。黃陽怪她只哭不說，但也無可奈何，心裏十分煩悶。
這天，有個從即墨來的姓藍的遊客，看見下清宮裏一株白牡丹長得好，十分喜愛，便把它連根掘起，帶走了。
之後黃陽才領悟到，原來香玉乃是白牡丹花妖，如今已隨花去，要搭救她，把她留下，為時已晚。他只有悵恨、惋惜不已。
過了幾天，聽說那姓藍的把花移種到家裏，白牡丹卻一天天萎悴，後來終於幹枯而死。
黃陽聽說後痛恨交加，接連寫了五十首悼花詩，每天都到原來栽種白牡丹的土穴旁痛哭流涕。
一天，他剛剛痛哭憑吊回來，遠遠地看見那個穿紅衣裳的女郎，也到穴旁揮淚哭訴。於是，黃陽從從容容地走了過去，這回她卻不再躲避。黃陽拉了拉她的衣襟，兩人便面對面地痛哭起來。
黃陽拉著絳雪的手來到書齋，絳雪嘆息著說：“從小一起長大的姐妹，忽然一朝永別，這怎能不叫人悲慟欲絕！而聽到你也為她哀傷，更使我悲痛。但願這些淚水流到九泉之下，她為這種至誠所感，死而復生。然而，死者神氣已散，短時間內是不可能和我們一起談笑了。”
黃陽傷感而又動情地說：“只恨我命薄福淺，既傷害了情人，自然也不會得到你的憐愛。過去我曾多次請香玉向你轉達我的心意，你為什麼一直不肯來呢？”
絳雪坦然地說：“過去我總以為那些年輕書生，十個有九個是輕薄子弟，不想你卻是個很重感情的人。不過，我們兩人只能做朋友，是不能當情人的。”
絳雪說罷，起立準備告辭。黃陽連忙加以挽留，說：“香玉永別，使人寢食俱廢。你難道不能多陪伴我一會，給我一點慰藉，以解相思之苦。為什麼你要如此決絕呢？”聽了這話，絳雪才又坐下，留在那裏陪伴了黃陽一夜。
可是這次分別以後，絳雪有好幾天沒有到來，黃陽每夜只有坐於孤燈前苦苦相思。
一天夜裏，冷雨淅瀝，黃陽思念香玉，在床上輾轉難眠，便披衣起來，挑亮油燈，又揮筆抒懷，寫了新詩一首。
作完了詩，他流著眼淚，站立窗前反復吟誦：“山院黃昏雨，垂簾坐小窗。相思人不見，中夜淚雙雙。”
忽然，窗外有人說道：“這首詩不應該沒有和者。”黃陽一聽，是絳雪的聲音，急忙打開房門，把她請了進來。
絳雪看過黃陽的詩，立即拿過筆在後面和了一首：“連袂人何處，孤燈照晚窗。空山人一個，對影自成雙。”
黃陽讀了這首詩，又流下眼淚，然後埋怨絳雪為什麼一連幾天都不來相見。
絳雪笑笑說：“我不能像香玉，那樣和你熱戀，只能在你寂寞之中，多少給你一點安慰。”
此後，每當黃陽感到寂寞無聊的時候，絳雪就會到來。他們一邊飲酒，一邊作詩酬唱，兩人雖然親熱，但絳雪並不在那裏過夜。所以黃陽常常高興地說：“香玉是我的愛妻，絳雪是我的良友！”
每次絳雪到來，黃陽總得親切地問絳雪出自院子裏哪一株花，說是要把它移植家中，免得像香玉那樣，也被惡人奪去，以致遺恨無窮。
絳雪笑著感謝黃陽的一片好意，但表示故土難離，還說即便說出自己的出處也無益，可不是嗎，妻子尚且難以白頭偕老，更何況朋友！
黃陽不聽，硬是拉著絳雪走到院子裏，一株一株地指著跟前的牡丹問她：“這是你嗎？”
絳雪沈默不語，只是掩著嘴笑他又傻又癡。日子不知不覺中過去，到了臘月，黃陽不得不回老家過年。
二月間的一個夜晚，他在家裏忽然夢見絳雪滿臉愁容來到他的跟前，焦急地說：“我即將大難臨頭，你快點回到下清宮去，也許還能見上一面，去遲了就來不及了。”
黃陽醒來甚覺奇怪，立即叫仆人備馬，星夜馳往嶗山。回到下清宮只見道士在忙於建房，有一棵耐冬樹礙事，工匠正要下斧子砍掉。黃陽馬上走上前去制止，終於保住了這棵耐冬樹。
這天夜裏，絳雪早早來到書齋，一見黃陽就千恩萬謝。黃陽笑笑說：“誰叫你過去要瞞住我，差點就要遭到厄難。現在我已經知道你在哪裏了，以後倘若不來，我就用艾香去燒你。”
絳雪也笑笑說：“我早就知道你會這樣做，所以過去不敢對你說實話。”
兩人坐著說笑一會，黃陽說：“今天面對良友，越發思念愛妻。自己很久沒有哭香玉了，你能陪我再去哭一場麼？”
絳雪點點頭，兩人於是一道來到舊穴前憑吊痛哭。過了一更天，絳雪收住淚，勸說黃陽回書齋去。
過了幾天，黃陽正孤獨地坐著，絳雪忽然笑吟吟地走進來告訴他一個好消息，說是花神為他對香玉一片情深所感動，決意讓香玉再降生在原來那個地方。
黃陽驚喜地問：“什麼時候？”絳雪搖搖頭，說不知道，隨後又補充了一句，說是大概不會太遠吧。
臨分別的時候，黃陽又一把拉住絳雪的手，說他這次從老家趕回來，全是為著她的，可不能讓他長久地感到孤寂啊！絳雪笑著點頭答應了，走時還回頭深情地望了黃陽一眼。
可是絳雪一去又是兩天不來。黃陽耐不住便去抱住那棵耐冬樹，又是搖晃，又是撫摩，一疊連聲喊著絳雪，但絳雪始終沒有答應。
黃陽悵然若失回到書齋，立即在燈下卷起艾炷，準備點燃去灼燒那棵耐冬樹。
正在這時，絳雪突然走進來，一把奪過艾炷扔出窗外，假裝生氣地說：“這種惡作劇虧你做得出，不怕燒痛人家。從今後我要跟你斷絕來往！”
黃陽一把拉過絳雪，請她坐下，一面笑著陪不是。
這時，香玉忽然走了進來，她那一身打扮，比過去顯得更加漂亮。黃陽一眼看見香玉，驚喜萬分，急忙走過去拉住她，激動得眼淚奪眶而出。
香玉用另一只手拉住絳雪，三人一時默默相對，只有悲切哽咽。這時，黃陽似是覺得握著香玉的手，好像沒有握著什麼東西一樣，甚感驚詫，問香玉是怎麼回事。
香玉流著淚說：“過去我是花之神，所以形體凝實；如今成了花之魂，形體已經散了。眼下我們雖在一起聚合，可不要以為是真的，只能當做一場夢來看待。”
絳雪插話道：“今天妹妹來得太好了！我被你家男人糾纏死了。”說罷便出門而去。
絳雪走後，香玉笑盈盈地一如從前那樣可愛，但依偎於黃陽身旁，卻仿佛是個輕飄飄的影子。黃陽感到悶悶不樂。
香玉看見黃陽這種神色，嘆息著說：“這有什麼辦法呢！往後，請你找來一種叫白蔌的中草藥，研成細末，再摻些小硫黃，泡成水，每天澆在我那舊穴裏。明年的今天我自會到來報答你的恩情。”說完即告辭走了。
第二天，黃陽跑到舊穴那裏，看見裏面竟長出了牡丹花芽兒，真是既驚又喜。
從此，他每天都到那裏去澆灌、培植，又在花芽兒四周圍上了雕欄，把它保護起來。
夜裏，香玉來到書齋，一見黃陽就表示倍加感激。黃陽很想把她移植到自己家裏，於是提出來與香玉商量。
香玉不同意，說自己體質太弱了，不能再折騰了，況且各種生物都有適合自己生長的環境，違反了反而會短命折壽。還說只要黃陽懂得對她憐愛，兩人團圓的日子不會太遠了。
黃陽埋怨絳雪不來見面，香玉說要強叫她來，這有什麼難。於是，她便打起燈籠，領著黃陽來到耐冬樹下，然後折了一根草棍兒當尺子，由下而上地量著樹幹。
量到四尺六寸高的位置，香玉停了下來，叫黃陽用兩只手去搔這個地方。剛搔幾下，絳雪就從樹後走出來，笑著罵香玉：“你這死丫頭，真是助糾為虐！”
香玉嫣然一笑，忙挽起絳雪的手，三人一同來到黃陽的書齋。他們坐下之後，香玉笑著對絳雪央求道：“姐姐不要見怪，煩你暫時陪陪他，一年以後就不再打擾你了。”
從此以後，絳雪經常到來陪伴黃陽，兩人有說有笑，有時還作詩酬唱，黃陽那孤寂的心田得到了莫大的慰藉。
每天一大早，黃陽就起來給那牡丹花芽兒澆水培土，從不間斷。春天過去了，那花苗已長了二尺多高，蔥綠青翠，十分茁壯。
後來黃陽要回家了，便送給道士一些銀子，請他每天代為照料那株牡丹。
第二年四月，黃陽重回下清宮，這時那株牡丹已長出一個含苞待放的花蕾。
他正在花前流連欣賞，不一會，那花蕾竟顫巍巍地慢慢綻開了。等到那花蕾完全開放，不想竟有盤子那麼大，花蕊中間還坐著一個小小的美人兒。
轉眼之間，美人兒從花蕊間飄然而下，黃陽一看正是香玉。 香玉笑著拉住黃陽的手說：“我強忍風雨在等待著你，你為什麼來得這麼遲呢？”
兩人很快回到書齋。隨後，絳雪也來了，三人高高興興地一直談笑到半夜。
絳雪忽而站起來，笑著對香玉說：“過去要我天天來陪你郎君，如今可以退出來了吧！”說完即告辭而出。後來，黃陽索性搬到山裏，從此再沒有回老家。
這時，白牡丹已經長成胳膊那麼粗壯。黃陽每每指著它說：“我以後把自己的魂兒留在這裏，一定也會變成一株牡丹，生在你的左邊。”
香玉、絳雪兩人一齊笑著說：“你可不要忘記你說過的話啊！”
十多年後，黃陽忽然大病一場，病中他笑著說：“這是我的出生期到了，不是死期到了。”
於是他差人把道士叫來，說以後的牡丹下邊會有一個紅色的芽兒長出，出土後一放就是五片葉子，那就是他。黃陽家人得知他病倒山上，立刻請轎子把他接回家，回家不幾天他就死了。
第二年春天，果然有一個紅色的芽兒從白牡丹下邊破土而出，長得甚為粗壯。而且一放就是五片葉子。道士甚覺驚詫，想到這事可不尋常，對它越發勤加灌溉和護理。
過了三年，它長高數尺，有一抱粗，葉子十分茂盛，但是從不開花。 老道士死後，他的弟子不知道愛惜，把它砍掉了。於是白牡丹也跟著憔悴而死；不久，耐冬樹也枯死了。