据胡掌柜讲，杨光宗的父亲杨珏原本也是文兴县有名的富人，可自从杨光宗成年后，短短几年时间，吃喝嫖赌无所不为的他就把杨家几代人积累起来的家产败去了大半。杨珏对这个儿子是恨得牙痒痒，终于把他赶出了家门。
转眼二十年过去，杨珏已进入暮年。突然有一天，杨光宗又回来了。刚一进家门，杨光宗就跪地请求杨珏能原谅他当年犯下的错。
杨珏想想，杨光宗是自己的独子，自己如今年老体衰，无依无靠……再三犹豫后，杨珏最终原谅了儿子。
杨光宗刚回家的那段日子，他的表现倒也令人刮目相看，不但不再胡作非为，还常劝那些少不更事的不良少年改邪归正。杨珏看在眼里喜在心头，便逐渐把家里的财政大权交到杨光宗手上。可没想到，等杨光宗正式掌权后，故态复萌了。
此时的杨珏只不过是个风烛残年的老头子，他有心呵斥杨光宗，却反被杨光宗手下的两个恶仆赶出家门。和杨珏一并被扔出门外的，还有一只破枕头。
孤苦无依的杨珏无处可去，只得抱着那个破枕头到大街上去讨饭。不知不觉天就黑了，就在杨珏被冻得瑟瑟发抖，失声痛哭时，突然有人来到他身边，关切地询问了他一句。
杨珏抬头一看，原来是文兴县屡试不第的秀才黄大义。
听了杨珏的遭遇，义愤填膺的黄大义把他搀扶回了自己家。自那以后，早年父母双亡的黄大义就认了杨珏为义父。
转眼两年过去，心中郁结难解的杨珏终于还是在一场大病后卧床不起了，黄大义请了当地最有名郎中也没能治好他的病。
杨珏似乎也预感到大限将至，他把黄大义叫到身边，说：“大义，看来义父是不行了。你的大恩大德义父无以为报，你就收下这个枕头吧！”杨珏告诉黄大义，他是杨国忠的后人，这个破枕头里藏着的就是当年唐明皇赐给杨国忠的游仙枕。
杨珏很快咽了气。黄大义卖了父母留给他的二亩薄田厚葬了义父后，就在义父的坟前建了一间茅草屋，一边替他守孝，一边发愤苦读。虽则白天读书辛苦，但到了晚上他却能借助游仙枕在梦中游览一番仙境，日子过得倒也有滋有味。
一天，黄大义的一个朋友向他诉苦，说最近总做噩梦。黄大义为人仗义，就把游仙枕的秘密告诉了他。
可没想到那个朋友试过游仙枕后，竟口无遮拦地把游仙枕的秘密宣扬了出去。此事一传十十传百，最后传到了杨光宗耳中。
杨光宗虽是个无赖但却很有心计，他当即卖了家中的几十亩良田，并用所得的银子打通关节，贿赂了知县苏才俊。在苏才俊的默许下，杨光宗写了一张状子跑到县衙里状告黄大义。
黄大义被衙役们带去了县衙。公堂上，苏才俊惊堂木一拍，问：“黄大义，杨光宗状告你趁杨氏父子不和，假意施恩把杨珏接回家中，然后又在杨珏弥留之际把游仙枕骗到了手，可有此事？”
黄大义辩解道：“当初学生把义父接回家，并不知义父手中有游仙枕！”
不等黄大义继续解释，苏才俊又把惊堂木一拍：“大胆黄大义，若是还不从实招来，休怪本官革了你的功名，再命衙役们对你大刑伺候！”
黄大义冷哼一声：“无需衙役们大刑伺候，学生把游仙枕还给杨光宗就是。但若要学生承认救义父是为了骗宝，学生却是死也不会认的。”
苏才俊见目的已经达到，假意称赞了黄大义几句后，便退了堂。
当胡掌柜讲到这里，水仪生突然插嘴道：“苏县令如此不分青红皂白，难道黄大义就这样认了么？”
胡掌柜道：“案子审下来后，黄大义的许多亲友也十分不服，众人都劝他到牛知府那里去告状。可黄大义却说，如果他为了游仙枕与杨光宗告来告去，谁又相信他当初不是为了游仙枕才认杨珏为义父的？”
听了胡掌柜的话，水仪生不由地对黄大义的人品竖起了大拇指。
接下来水仪生又问胡掌柜：“杨光宗大张旗鼓地用游仙枕开店赚钱，难道就没有贼人打游仙枕的主意吗？”
胡掌柜道：“杨光宗自幼习武，后来他在外闯荡多年又得了一个名师的真传。自他的客栈开起来后，虽然也曾有几个贼人想抢他的游仙枕，但都被他制服了。”
看看天色不早，水仪生别过胡掌柜回客房睡觉去了。可第二天一早他刚刚起床，胡掌柜就风风火火地跑来告诉他，仙境览胜客栈出大事了。