1915年秋，曼殊在日本，尝有岁末回香港一行的打算。但此后近一年的行踪，却失去记载。
后来这篇小说所述的广东地名，如西樵、鼎湖、虎山、烟村、大良，多为以前未到过的，故他此时曾作南游。至下一年底，蜇居杭州，“无他情趣事”，便藉“病少除”之机，撰写此小说。初拟名为，《人鬼记》，“盖薇香为‘人’，而刘氏与凤娴为鬼为蜮，则为‘鬼’也”
（柳亚子《重订苏曼殊作品提要》）吾邑汪玄度，老画师也，其人正直，为里党所推。妻早亡，剩二女，长曰薇，次曰芸香，均国色。玄度自教二女绘事。有燕生名海琴者，其父与玄度世交，因遣之从玄度学。既三年，颇得云林之致，而生孜孜若无能也。玄度爱生如己子，欲以薇香妻之；生之父母，俱皆当意。
生行年十二，遭母丧，父挈之博游西樵。逾年归，将为生行订婚之礼，不料以消渴疾卒，生惟依其婶刘氏。后三年，玄度重以姻事闻于刘，刘意殊不属，乃婉言曰：“待之，待之，更三年议此未迟也。”
一日，刘假无心之词，问生曰：“汝爱薇香否？”生视地不答。刘曰：“薇香，好女子也，惟我问诸算命先生矣，恐不利于汝，故为汝辞之耳。”生愈不语。过四日，生得沉疾，刘百问不一答。刘心知其理，耳语之曰：“我有甥女凤娴，与薇香不上下，定为汝娶之，勿戚也。薇香但善画，须知画者，寒不可衣，饥不可食，岂如凤娴家累千金，门当户对者耶？”生不语如故。
又过五日，生病稍痊。刘大悦，命侍婢阿娟以玫瑰点心进之。诘朝，生徐行至燕处之室。甫入，见刘与一靓妆女郎共话。女突见生，即起立欲避。生凝瞩不转。刘见生，慰问倍切，忽而微哂，引女郎之手，即问生曰：“昨日点心美乎？”生曰：“厥制滋佳。”因问所自来。刘向女郎言曰：“汝今日更为海琴多制百枚，彼病新瘥，食量必倍于汝。”此时，女郎红上梨涡。生肃然欲退，刘止之，笑曰：“海琴今日见嘉宾不拜，何也？既啖人家点心，不当道谢耶？”生如言，与女郎为礼。女亦莞尔，盈盈下拜。此觌面之始也。停午，女亲持重酪及饼子馈生，生亦欣然相受。抵暮，生患又发，体中温度逾四十。第二日，人略清爽，复见女郎软步温香，捧药而进。自是，殷勤调护，彼此默不一言。
一夕，生目稍瞑，忽觉有人即枕畔引生右手，加诸鼻端闻之，复倾首以樱唇微微亲生之腮。迄生张目而视，则女郎稍立于灯畔，着雪白轻纱衫，靡颜腻理。二人眼光频频相对，生中心愈觉摇摇，久之，微启妇郎曰：“阿姊悴矣。”又曰：“何事见教？敬烦阿姊以芳名见告。”女低鬟不应。有间，生再问曰：“婶娘安睡未？”女又不应，然见生发问，若欣欣然有喜色，即探怀出一嵌珠小盒授生，回身而去。厥后，生久不睹女郎，乃私叩阿娟曰：“前日女郎何人也？”阿娟笑而不答。他日又问，附耳曰：“汪家薇香，公子认得未？”
既而，生自念薇香贞默达礼，吾虽在病中，岂容为我侍侧？矧以香盒见贻，于礼尤悖。生不见薇香七稔，然幼小之时，知其腰纤细，发茂密，及其双涡动处，今日尚历历忆之。继而更设一想，谓此女郎或吾在梦中所遇，非真薇香，殆阿娟给我耳。执盒细瞻之，异常精好，凝香如故，则又明明非梦。使阿娟之言属实，何以容发并不符协？此际百思亦不能得其真。综之，此女郎非薇香，即凤娴，非凤娴，即薇香，舍此二人，婶娘决无遣看病榻之理。由往复推勘，如入魔不醒。忽而急起呼曰：“阿娟，汝趣告主母，公子非薇香，即毕生不娶也。”数日，生似愈而非愈。刘复慰曰：“汝须自宁其神，即春为汝娶薇香也。”生自此日，为状微适。有僧名遣凡者，与生素旧，微窥其情，随时示以《般若》意旨，令自开悟。而生执于滞情，疑信参半。
破夏，遣凡约生赴鼎湖，居报恩寺四十余日，病乃弗瘳。一日，生泛舟过一桥，有二女行钓水边，微风动裾，风致乃如仙人。生审觇之，的与垂髫时无参差，正薇香姊妹也。心跃然动不已，知阿娟之言妄。既归，访之小沙弥，方知玄度寄寓宝幢南院。明日，晨斋毕，生谒玄度。玄度粗衣垢面，而神宇高古，方伏案作画，画松下一老僧，独坐弹琴，一鹤飞下。既竟，命生为题之。生接笔构思，少选，书一绝句曰：
海天空阔九皋深，飞下松阴听鼓琴。
明日飘然又何处？白云与尔共无心。
玄度自捻其须曰：“字迹类女子，然小诗可诵也。”已而告生曰：“吾来已两月，一二日须返里，为先人修墓。汝软弱，于此静养为宜，吾事毕，即来看汝。”生闻言，戚然改容，知不能与薇香于此图良会也，遂辞其师，出门惘惘。路上遇韦媪迎面言曰：“久未见公子，公子面容瘦峭，何也？”我正有无穷之言，宜加质问，公子许我乎？“生心滋异，回忆媪是薇香奶母，慈祥之人也，恭谨答曰：”
惟媪之命。“媪第一问曰：”颇闻人言，公子已定婚，其人丽且富也，非欤？“生曰：”未之前闻。“第二问曰：”公子髫龄时，与薇香甚相亲爱，今公子忆念之乎？“生曰：”深忆之。“第三问曰：”
薇香曾有何物赠公子？“生曰：”有其亡母所遗波斯国合心花钗。“第四问曰：”今犹在否？“生曰：”
珍藏之。“最后第五问曰：”公子爱花钗，抑爱表妹之香盒耶？“生始耸然不能为辞，相顾良久，反问媪曰：”媪那由知香盒事？“媪不答，即正色言曰：”薇香倾心向公子以来，匪日不思公子，密告我曰：‘不偶公子，不如无生。’我深念薇香虽贫，公子夙称风义，固如是负一女子耶？“生从容答曰：”我心亦如薇香。此事禀父母之命，我实誓此心：天下