大上清宫在上清镇东陲，距嗣汉天师府约一公里。古代这里称为仙源乡招宾里。其街曰： “琼林”。左拥象山，右注沂溪。溪山环拱，实乃仙灵都会也，古老相传。这里是九龙聚会的宝地。民谣云： “九龙集结上清宫．天师擒妖显神通。唯有一龙不伏法．顺水飘游遇虎凶。”这九龙指的是上清宫周围的天门山、台山、乌剑山、狮子山、冲天峰、应天山、西华山、乌龟山和圣井山。

汉末第四代天师张盛承启道教，在此建“传箓坛”．公元841—846年（唐会昌年间），武宗召见第20代天师张湛赐帑银于传箓坛旧址建道观，并赐额日“真仙观”

1008—1016年（北宋大中祥符年间），宋真宗敕改真仙观为上清观，1105年（崇宁四年）第30代天师张继先请于朝，宋徽宗命拨赐米万余斛（一斛一斗），由江东漕臣在龙虎山丈量土地重建上清观，又于1113年（政和三年）将上清观升为“上清正一宫”。“时宫中学道者常数百人”：南宋时．经上清宫高道易如刚，毛允中等不断扩建，当时己有六殿（三清殿、真风殿、昊天殿、南斗殿、北斗殿、琼章殿）二阁（即皇帝景命阁、宝奎阁）一楼（琼音楼）三馆（宿云、蓬海、云馆）二堂（斋堂、正一堂），堂之左为方丈，东西创道院数百楹(详见王与权记)。景定年间，宋理宗命张闻诗建上清宫门楼．榜日： “龙虎福地”。

元朝1285年（世祖至元二十二年）赐帑银重修上清宫，元武宗时敕政“上清正一宫”为“大上清正一万寿宫”。

1391年（明洪武二十四年）43代天师张宇初重修大上清宫，太祖朱元璋亲赐宝钞5000贯。翰林编修苏伯衡撰《重修上清宫碑文》传世.明朝统治276年，由朝延赐银或监修上清宫共有七次，故《明史》中说： “真人张氏道家孝流而世蒙恩泽、顾代相传袭，阅世既久。卒莫废去。

清朝．由皇帝赐银大规模修建上清宫一次，零星修建三次以上。据1740年（清乾隆五年）妙正真人娄近垣编《龙虎山志大上清宫新制》记载，当时的建制为两宫（上清宫、斗姆宫）、十二殿（玉皇殿、后土殿、三宫殿、三省殿、五岳殿、四渎搬、文昌殿、天皇殿、关圣殿、紫微殿、斗姆前殿、斗姆后殿）二十四院（三华、东隐、仙隐、崇元、太素、十华、郁和、清和、崇福、崇清、繁禧、达观、明达、洞观、栖真、混同、紫中、清富、凤栖、高深、精思、正庆、玉华、迎华）其建制规模不仅在江南称为第一大观．在全国也是首屈一指，故素有“神仙所都”和“百神受职之所”的称誉。1930年几个乞丐在宫内烤火，一时不慎，二宫惨遭火焚．二十四院亦受株连。殿宇楼阁化为灰烬。

大上清宫在中国乃至全世界都有很大的影响，因为在中国古典名著《水浒》第一回，写的是“张天师祈禳瘟疫。洪太尉误走妖魔。”就是讲大上清宫的，由上清宫内的镇妖井，走出36天罡，72地煞、演绎出一部惊天动地的农民起义的故事，在中国可谓妇孺皆知。如今，伏魔殿仍在。镇妖井仍存，游人信士络绎而至，都忍不住要探一探伏魔殿的神奇，镇妖井的玄秘。

2000年，龙虎山风景旅游区管委会启动对大上清宫进行重建，翌年完成一期工程已恢复的有：福地门、龙街、下马辜、棂星门、天一池、东隐院等，2009年3月，大上清宫已恢复为宗教活动场所，热烈欢迎广大信士游人来此朝拜圣真，领略《水浒》文化的精髓。

上清宫初为天师张道陵的草堂，第四代天师张盛在此置传箓坛，逢三元日升坛传箓。唐代会昌年间(841--846)始于此处建真仙观，宋大中祥符五年(1012)改名上清观，仁宗天圣年间(1023一1032)，二十五代天师张乾曜曾观于龙虎山南。哲宗元佑元年(1086)，二十八代天师张敦复又重建，但均已不可考。宋徽宗崇宁四年(1105)于上清镇东再建；政和三年(1113)升观为“上清正一宫”。南宋高宗建炎年问，宁宗于庆元、嘉定年间均有修建；理宗于端平二年(1235)赐内努，并派太乙宫高士易如刚再次进行较大规模的扩建，时共兴建二阁、三馆、六殿及东西道院数百楹，不久又创建 门楼，增建紫微阁。元代曾有三建二毁，武宗时敕改上清正一宫为“大上清正一万寿宫”。明代先后有六次重建与修复及增建。清代康熙五十二年(1713)，圣祖曾炀帑金修葺；雍正九年(1731)特赐帑银十万两，遣翰林学士占留保，原直隶臬司浦文焯等督工，又命天师府署理大真人张匿昭麟协同监修，于当年大兴土木，开始重修，至雍正十年八月竣工，除将原有殿宇葺修一新外，又新建了碑亭、斗姆宫、后堂、库房、厢房、斋堂、厨房、虚靖祠及二十四道院等，整个宫宇规模宏大，气势磅礴，名振江南；后因年久失修与屡遭灾毁，至解放初仅存门楼、午朝门、钟楼、下马亭、东隐院等建筑，为江西省重点文物保护单位之一。“文革”中，上清宫残存建筑全遭毁坏，现唯存有一口元代所铸大钟及部分碑刻藏于天师府内。为龙虎山历史上著名的道教宫观之一，是道教正一道的祖庭。