裴谌、王敬伯、梁芳，志向一致，倾慕仙家，隋炀帝大业年间，一起放弃官职，入白鹿山学道。白鹿山在河南辉县与修武县之交，隋唐时被认为是道教仙山。入山之初，他们意念坚定，认为只要坚持修炼，无论炼金术、炼银术，还是得长生之药，甚至羽化升仙，都可以办到。
这是他们的理想。
他们情同手足。十多年后，隋朝变唐朝，但他们还没成功。这时梁芳先死了，于是王敬伯动摇了，对裴谌说：“我们去国忘家，弃绝尘世，居寒山茅屋，轻欢娱而受寂寞，难道不是为了有一天可乘云驾鹤，成仙得道吗？即使不成，也希望可长生不老。但经过十多年苦心修炼，仙海茫茫，实无尽头，连长生之术也未学成，如此下去，不免跟梁芳一样。现修道不成，还是回去过都市里的富贵生活吧！游乐人间，走于仕途，荣耀于世，即使不能过仙人的生活，位列公卿，也可以了。你跟我一起回去吧，不要白白地死在这深山里！”
裴谌不语，良久之后，说：“红尘如梦我已醒，又怎会重新回到梦中？”
于是王敬伯离开深山，返回都市。这时已是唐太宗贞观初年。王敬伯先是被恢复了从前的官职，随后被提升为左武卫骑曹参军。后来，大将军赵朏又将女儿许配给他。没过几年，王敬伯当上了大理寺官员，成为身着红衣的显贵。
这一天，王敬伯奉朝廷之命出使淮南，去扬州办案。他的船队盛大，行于江中，百姓船只不敢前行。当王敬伯的船队到达高邮时，天降小雨，突有一艘小船倏忽而过，超过了王敬伯的船队。小船船头，站着一位老人，身披蓑衣，头戴斗笠，于雨中划船如风。王敬伯很不高兴，近前一看，渔夫有些面熟，再仔细看，竟是裴谌。分别多年，他已是如此苍老。
后面的故事可以设想，王敬伯把裴谌请上大船，又是拥抱又是握手：“老兄，你久居深山，放弃人世功名，这些年苦心修炼，到现在不也是一事无成，而只是个渔夫吗？所谓修道，只是捕风捉影的事罢了！古人倦夜长，尚秉烛游，况少年白昼而掷之乎？”
王敬伯说出一句垂留后世的名言：古人认识到人生苦短，而夜太漫长，还举着蜡烛，找些事做，又何况青春白昼，安能虚度？
随后，王敬伯告诉裴谌，自己出山没几年，就做了大官。现扬州有案，朝廷派一名得力大员去审断，皇帝选择了他。比之于山叟渔夫，又如何？他接着说：“你这些年，依旧像我们以前那样辛苦于山水中，真是奇哉！奇哉！令人费解！你现在有什么需要吗？说出来，想要什么我都可以帮助你。”
裴谌笑道：“我居于山野，心近云鹤，又怎么会对地上的腐鼠有兴趣？我沉于江湖，你浮于红尘，所谓鱼有大河，鸟有天空，各有所得，你又何必在这里炫耀？人世应该有的，我都不缺少，你又拿什么赠送于我？我与山中修道的好友，约定一起去扬州卖草药，在那里有个地方住，青园桥之东几里外，有一樱桃园，园北有门，那就是我的庭院。如果你清闲下来，可去找我。”说罢，还于自己的小船，飞驶而去。
接着说王敬伯。到扬州，他开始办案，十多天后已是清闲，想起裴谌的话，于是独自出门寻找那座庭院。果然有樱桃园，转至北门，有童仆说，正是裴宅。说明来意，童仆将他引入辕门。开始时，感觉四周荒凉，似久未有人居住，但走了一会儿，景色愈佳。数百步后，到正门，里面青烟隐约，楼阁重重，花木鲜秀，微风吹来，异香扑鼻，令人神清气爽，有弃绝红尘而飘然凌云之意，当不是凡人所居之地。
这时候，转出一人，仙风道骨，奇瑰伟然，王敬伯不由自主地抢步而拜，抬头细看，却是裴谌，不由一惊。裴谌说：“你在尘世为官已久，欲念结心，背着它走，该是很累了吧！”
裴谌将王敬伯邀入装饰精美的堂中，其时已是黄昏，有彩灯亮起，照得满座明媚，更有美女二十人，手持乐器，点缀席间，仿佛梦幻。裴谌对童仆说：“这是我昔日在山中修道时的朋友，但心志不坚，后离开我还于尘世，一别将近十年，现在做到朝廷大员。虽入我境，但他还是尘世之心，所以就叫尘世的歌伎为他助兴表演吧。而坊间那些歌伎差点，还是找已嫁人的大臣之女吧！假如扬州没有，就去外地找，五千里之内的，都可以。”
童仆点头而去。还没等在座诸美女把碧玉筝调好，童仆已带着一个仕女前来复命。仕女拜见，王敬伯一看，正是自己的妻子赵氏。可以想象他有多么惊讶，赵氏更是惊讶。裴谌令赵氏入座，给她玳瑁筝，叫她弹奏，又令其与诸美女合奏，以助酒兴。王敬伯偷偷从果盘中取了一个红色的李子，扔给赵氏，后者看了看丈夫，把李子藏于衣服里。
天快亮时，裴谌叫童仆送赵氏回去：“或许是缘吧！隔着苍山万重，你来到这里。”
裴谌也未留王敬伯：“尘路漫长，有愁绪万千，你要珍重。”
五天后，王敬伯将回长安，行前欲再见一下裴谌，来到樱桃园，只有辕门，而无当初的庭院了，只见满目萧索，荒草漫天，于是只好惆怅而返。
王敬伯回到长安，向朝廷复命后，归于府第，没想到妻子的娘家人都在了，他们非常愤怒：“我家赵女，也许笨拙丑陋，配不上你，但既已结婚，就应互相尊重，成夫妻之道，这不能含糊。可你为什么用妖术将她弄到万里之外供人消遣呢？那红色的李子就是证据！你还隐瞒什么？”
王敬伯苦笑，把前后故事道出：“这事发生时，我也没预测到，应是裴谌已修炼得道，显示本领给我看吧！”
裴谌、王敬伯、梁芳约为方外之友，隋大业中相与入白鹿山学道，谓黄白可成，不死之药可致，云飞羽化，无非积学，辛勤采炼，手足胼胝。十数年间，无何，梁芳死，敬伯谓谌曰：“吾所以去国忘家，耳绝丝竹，口厌肥豢，目弃奇色，去华屋而乐茅斋，贱欢娱而贵寂寞者，岂非觊乘云驾鹤，游戏蓬壶？纵其不成，亦望长生，寿毕天地耳。今仙海无涯，长生未致，辛勤于云山之外，不免就死。敬伯所乐，将下山乘肥衣轻，听歌玩色，游于京洛，意足然后求达，垂功立事，以荣耀人寰，纵不能憩三山，饮瑶池，骖龙衣霞，歌鸾舞凤，与仙翁为侣，且腰金拖紫，图影凌烟，厕卿大夫之间，何如哉？子盍归乎？无空死深山。”谌曰：“吾乃梦醒者，不复低迷。”敬伯遂归，谌留之不得。时唐贞观初，以旧籍调授左武卫骑曹参军，大将军赵朏妻之以女。数年间，迁大理廷评，衣绯，奉使淮南，舟行过高邮。制使之行，呵叱风生，行船不敢动。时天微雨，忽有一渔舟突过，中有老人，衣蓑戴笠，鼓棹而去，其疾如风。敬伯以为吾乃制使，威振远近，此渔父敢突过我。试视之，乃谌也。遽令追之，因请维舟，延之坐内，握手慰之曰：“兄久居深山，抛掷名宦而无成，到此极也。夫风不可系，影不可捕，古人倦夜长，尚秉烛游，况少年白昼而掷之乎？敬伯自出山数年，今廷尉评事矣。昨者推狱平允，乃天锡命服。淮南疑狱，今献于有司，上择详明吏覆讯之，敬伯预其选，故有是行。虽未可言宦达，比之山叟，自谓差胜。兄甘劳苦，竟如曩日，奇哉！奇哉！今何所须，当以奉给。”谌曰：“吾侪野人，心近云鹤，未可以腐鼠吓也。吾沉子浮，鱼鸟各适，何必矜炫也。夫人世之所须者，吾当给尔，子何以赠我？吾与山中之友，或市药于广陵，亦有息肩之地，青园桥东有数里樱桃园，园北车门，即吾宅也。子公事少隙，当寻我于此。”遂倏然而去。敬伯到广陵十余日，事少闲，思谌言，因出寻之，果有车门，试问之，乃裴宅也。人引以入，初尚荒凉，移步愈佳，行数百步，方及大门，楼阁重复，花木鲜秀，似非人境。烟翠葱茏，景色妍媚，不可形状。香风飒来，神清气爽，飘飘然有凌云之意，不复以使车为重，视其身若腐鼠，视其徒若蝼蚁。既而稍闻剑佩之声，二青衣出曰：“阿郎来。”俄有一人，衣冠伟然，仪貌奇丽，敬伯前拜，视之乃谌也。裴慰之曰：“尘界仕官，久食腥膻，愁欲之火焰于心中，负之而行，固甚劳困。”遂揖以入，坐于中堂，窗户栋梁，饰以异宝，屏帐皆画云鹤。有顷，四青衣捧碧玉台盘而至，器物珍异，皆非人世所有，香醪嘉馔，目所未窥。既而日将暮，命其促席，燃九光之灯，光华满座。女乐二十人，皆绝代之色，列坐其前。裴顾小黄头曰：“王评事昔吾山中之友，道情不固，弃吾下山，别近十年，才为廷尉属。今俗心已就，须俗妓以乐之。顾伶家女无足召者，当召士大夫之女已适人者。如近无姝丽，五千里内皆可择之。”小黄头唯唯而去。诸妓调碧玉筝，调未谐而黄头已复命，引一妓自西阶登，拜裴席前。裴指曰：“参评事。”敬伯答拜，细视之，乃敬伯妻赵氏也。敬伯惊讶不敢言，妻亦甚骇，目之不已。遂令坐玉阶下，一青衣捧玳瑁筝授之，赵素所善也，因令与妓合曲以送酒。敬伯坐间取一殷色朱李投之，赵顾敬伯，潜系于衣带。妓奏之曲，赵皆不能逐。裴乃令随赵所奏，时时停之，以呈其曲。其歌舞虽非云韶九奏之乐，而清亮宛转，酬献极欢。天将晓，裴召前黄头曰：“送赵氏夫人。”且谓曰：“此堂乃九天画堂，常人不到。吾昔与王为方外之交，怜其为俗所迷，自投汤火，以智自烧，以明自贼，将沉浮于生死海中，求岸不得，故命于此，一以醒之。今日之会，诚难再得，亦夫人之宿命，乃得暂游，云山万重，往复劳苦，无辞也。”赵拜而去。裴谓敬伯曰：“评公使车留此一宿，得无惊群将乎？宜且就馆，未赴阙闲时，访我可也。尘路遐远，万愁攻人，努力自爱。”敬伯拜谢而去。后五日，将还，潜诣取别，其门不复有宅，乃荒凉之地，烟草极目，惆怅而返。及京奏事毕，得归私第，诸赵竞怒曰：“女子诚陋拙，不足以奉事君子，然已辱厚礼，亦宜敬之。夫上以承祖先，下以继后嗣，岂苟而已哉！奈何以妖术致之万里而娱人之视听乎？朱李尚在，其筵足徵，何讳乎？”敬伯尽言之，且曰：“当此之时，敬伯亦自不测，此盖裴之道成矣，以此相炫也。”其妻亦记得裴言，遂不复责。（《续玄怪录》，另说出自《玄怪录》，不准确）
另一种说法是，此故事原载于牛僧孺的《玄怪录》。这是一个幻术故事吗？裴谌最终得道了，他在园中所做的一切就是为了显示自己的本领吗？就是为了把一个女人从千里之外摄来而令自己的老友难堪吗？我相信不是这样的。所以这个故事在本质上与幻术无关，它讲的实际上是一个人如何坚毅心性的问题；或者说，这是一个意志力成就理想的故事。想当初，三人同入深山，一个人死去，另一个人半途而废，第三个人却挡住尘世荣华的诱惑，继续孤独地在山中修行，没有功亏一篑，没有功败垂成，最终实现了人生理想。这是另一个版本的奋斗的故事。当然，对于王敬伯来说，他的选择也没错：“古人倦夜长，尚秉烛游，况少年白昼而掷之乎？”他有重新选择人生方向的自由与权利。他这样做了，结果也不错。如果这真是他的人生理想的话，那么他也成就了自己。