据史料记载，大营古城始建于北宋时期，当时属军寨，传说是宋代杨家将老令公的大营。在当地有个说法，即先有大营城，后有固原城。大营城即宋夏时期养马城，为镇戎军战马主要放养地，宋夏定川寨之战，宋军主力葛怀敏部曾驻军三天于此。元末明初，固原一带因战乱，地广人稀，水草茂盛，明太祖朱元璋便把固原一带分赐予诸藩王为牧场。明洪武十一年（公元1378年），朱元璋赐封十四子朱英汉王为肃王，封地甘州。

2005年，自治区人民政府将大营古城列为重点文物保护单位。昔日大营古城的护城河——大营河在变成季节性河流后，当地修路搞建设就到大营河取沙，仅取沙深度就达5米多，加之周围加工厂排放污水，大营古城昔日雄姿难显，还面临被侵蚀破坏的问题。

2013年05月，成为第七批全国文物保护单位。