瑞祥寺始建已无从考查,相传,最早时该寺坐落于汤山之巅,是里人王孰故居,后舍宅为寺。明嘉靖三十一年(公元1552年)倭寇进犯乍浦,登山毁寺,后来瑞祥寺在重建时稍稍下移。清咸丰十一年(公元1861年)毁于兵燹。同治七年(公元1868年)重建,存续时间较长,最后毁于20世纪50年代末。“瑞祥晓钟”昔年为龙湫八景之一,据清康熙《乍浦九山志》记载:“飞来钟,在汤山瑞祥寺,相传浮海而来,声闻百里,明嘉靖年间倭寇进犯乍浦时被毁,钟被火焚,稍失声,幸未损”。
瑞祥寺于2008年启动修复重建工程,内设大雄宝殿、圆通殿、卧佛殿、鼓楼、钟楼、山门、放生池、天桥、九龙广场等,占地面积约22亩,建筑面积约3500平方米,气势雄伟壮观,飞檐翘角、斗拱围廊,与青山绿树、碧瓦黄墙相映成趣,美不胜收。周围林木苍翠,四季葱郁,面对波涛滚滚的大海,海风徐徐,环境清雅。
寺内还有“无欲泉”,清泉不竭于千年,在《乍浦纪事诗》中也有记载:“凿石疏泉砺齿凉,高僧已往水犹香。只缘人世人多欲,涓滴难流到下方。瑞祥寺后有无欲泉,适供寺僧取汲焉。 ”