明成化年间，兖州府有书生名崔弘，字文远，世居泗水之畔。祖上曾为翰林学士，至父辈家道中落，唯余城南老宅一隅，庭中古槐蔽日，井台青苔斑驳。崔生年方弱冠，素衣简从，每日晨起必于东窗下诵读，虽箪食瓢饮不改其志。
是岁仲春，崔生欲赴济南府乡试，奈何盘缠匮乏。忽忆及城北三十里有姑母王氏，乃父同胞姊妹，嫁与绸缎商为继室，或可相援。遂择吉日，负笈前往。
行至云梦山麓，忽逢急雨。但见黑云压顶，霹雳裂空，山径顿成泥淖。崔生踉跄奔至古松下，忽见崖壁处微有灯火，近前乃一荒废山寺。匾额斜悬，依稀辨得“宝觉禅院”四字，门扉半朽，庭中野草没膝。
方欲避雨檐下，忽闻内殿有女子啜泣声。崔生疑为精怪，然风雨愈烈，只得硬首入内。但见佛龛残破，蛛网垂丝，一素衣女子跪坐蒲团，见生至惊起，玉簪坠地铿然有声。
女子约莫二八年纪，云鬓半偏，面色苍白犹带泪痕。崔生揖道：“小生冒昧，实因风雨所迫，望姑娘勿怪。”女子还礼曰：“奴亦避雨之人，郎君请自便。”言罢侧身避至廊柱后，姿态矜持非常。
崔生拾起玉簪递还，触手生温，见簪身雕并蒂莲纹，簪头嵌明珠一颗，显非俗物。女子接簪时指尖微颤，忽闻雷声炸响，殿梁尘落如雨。崔生解外衫为遮，女子低声道谢，幽香袭人。
雨稍歇，女子匆匆辞去。崔生追问姓名，但见白衣没入暮色，唯余地上绢帕一方，绣着“蘅芜”二字。帕角染有暗红，似血迹又似朱砂。
及至姑母家，乃知王氏三年前已随夫迁往扬州。崔生怅然返程，途经山寺竟鬼使神差再度入内。于佛座下得绣囊一只，内盛金环一对并胭脂盒，盒底刻“永昌王府”字样。
是夜崔生宿于驿馆，梦女子披发而来，泣诉：“妾困于金笼，郎君既拾妾物，愿垂怜相救。”言罢化作白鹤冲天而去。崔生惊醒，见案上胭脂盒无故自开，满室异香。
次日访于乡邻，乃知永昌王为当朝郡王，封地正在兖州。三年前王爷纳侧妃柳氏，宠冠后院，然去岁突染恶疾而亡，葬于王府陵园。崔生暗忖时日，正与山寺遇女子之日相符，心知有异。
遂变传家古砚，购得青缎直身，假作画师混入王府。恰逢王妃寿辰，需绘观音妙相图，崔生丹青素有名声，竟得召见。
入府但见亭台重重，侍卫皆佩刀巡视。管事太监引至碧波堂，忽见回廊处闪过素衣身影，鬓间玉簪明珠辉耀，正是山寺女子！崔生欲追，却被小厮拦住：“此乃禁苑，先生止步。”
绘事之余，崔生暗查王府旧闻。老仆醉酒透漏：柳妃本苏州绣女，王爷游江南时强夺入府。初时夜夜专房，后因王妃妒忌，渐失恩宠。去岁中秋坠井身亡，王爷讳莫如深，只说是急病暴卒。
是夜崔生潜至废井旁，但见石栏苔痕犹存，井口竟以玄武岩封死。忽闻环佩叮当，回首见女子立于月下，面容惨白如纸：“郎君真至矣！妾冤深似海，井底有证...”语未毕，忽有巡夜护卫提灯而来，女子倏忽消散。
崔生疑为鬼魅，然念及山寺种种，决意查探。次日常借绘事之便，贿看守老仆。得知柳妃贴身侍女名唤秋雯，自主子去后便被遣往城外田庄。崔生记起绢帕上“蘅芜”二字，或与此女相关。