五代后周显德六年(959年)，周世宗柴荣病死，七岁的恭帝继位，时任殿前都点检、归德军节度使的赵匡胤掌握了军权。翌年正月初，赵匡胤在陈桥驿(今河南封丘东南陈桥镇)发动兵变，黄袍加身。并率军入开封，胁迫周恭帝禅位，夺取了皇位。因赵匡胤所领的归德军驻在宋州，所以建国号为宋，定都于开封。史称北宋。宋王朝的建立，结束了自唐末而形成的四分五裂的局面，使中国又归于统一并逐渐进入中国经济、文化、科技的鼎盛时期。唐朝最盛时有五千多万人口，宋朝人口最盛时突破一亿。宋人有曰：“生民以来，能济登兹者，未有如大宋之隆也。”
在宋朝建立之初，为使宋王朝能长治久安，而不致成为继五代后的第六个短命王朝，北宋王朝除了制定了一系列的政策方针，大力实施“强干弱枝”政策之外，还致力于结束五代十国的分裂割据局面，特别是当宋太宗听说，当时仍被北汉统治的晋阳出过好几个皇帝，是个“龙城”之后，更是亲自带兵攻下太原城，并火烧太原城，再水灌太原城……
太原古称晋阳，它西依悬瓮山、东临汾河水，地势十分险要，城堡十分坚固。晋阳城城池坚固，唐以后的五代，这里几度被一些野心军阀作为割据称雄的堡垒，称王称霸，自立为帝。太原经历了后唐、后晋、后汉、北汉等几个王朝。
979年，宋太宗亲率大军，来到太原城下指挥攻城。晋阳城高大坚固，使得宋军损失惨重，内外马步军都军头王廷义，殿前指挥使部虞侯石汉卿阵亡，大将李汉琼、荆嗣、呼延赞、韩起重伤，以下将士伤亡者更多不胜数。当时，主要是由于宋已统一中原，平定南方，倾全力攻晋阳一城，晋阳孤城难守，北汉主才不得已降宋。自此，北汉十州全部归入宋的版图。五代十国时期最后一个分裂的小王朝被消灭了。
太原城被攻破之后，宋太宗赵光义决定平毁太原城，这是出于多方面考虑的。首先是晋阳城城池坚固，易守难攻，宋军强攻晋阳造成损兵折将，损失惨重，故宋太宗决心彻底平毁晋阳城以消心头之恨。其次是当时的李唐是从晋阳起兵而夺取天下，到唐末五代一些割据者又据晋阳争夺天下，或抗衡中原王朝，望气者认为晋阳有王者之气，这是宋太宗要严加防范的。再次是宋太宗继位时，多有道教人物相助、道教附会天象认为：宋起之地为归德 (今河南商丘市)属于“商星分野”，而太原则属于“参星分野”，自古参商不相见，这样，当中央政权强盛时，太原地区最后才服从，而当中央政权衰弱时，太原则将最先叛乱，因此，不宜把太原列为方镇，应当降低它的等级。鉴于上述原因，宋太宗决定平毁太原城，让居民迁往汾水东的新城，把新设立的并州府迁到榆次。居民出城后，宋太宗下令放火，“万炬皆发，宫寺民舍，一日俱尽”。第二年四月，宋太宗又封堵汾水、晋祠水，灌入太原。古太原城经此火烧、水灌，变为一片废墟。往日被誉为“锦绣太原城”，并已逾千年的大都会便不复存在了。
太原旧城被毁后，宋太宗又命将太原治所从榆次迁到唐明镇(即今太原市)。逃出城的百姓逐渐聚集到这里定居下来。由于此处地理位置十分重要，982年(宋太平兴国七年)，宋太宗赵光义派三交都部署潘美在唐明镇的基础上，扩大范围，修筑城墙，兴建太原城。宋初修建的太原城是一座土城，城池周长5.28公里。筑四门：“东曰朝曦;南曰开远;西曰金肃;北曰怀德。城西南至现迎泽大街北边，西至现新建路东边，后小河、东后小河是当时北面东边的城壕。据说赵宋在新修太原城街道时，都筑成丁字街，取其谐音，“钉”破“龙脉”，使太原不再出现“真龙天子”，危及赵宋天下。并忌讳使用“晋阳”、“太原”名称，而设为紧州军事，派潘美、杨业把守。
金代诗人元好问《过晋阳故城书事》在讲到此事时说：“南人鬼巫好机祥，万夫畚铺开连冈。官街十字改丁字，钉破并州渠亦亡。”旧的晋阳城平毁了，但太原的战略地位并没有变，当时辽据大同，建辽契丹又为游牧民族，其骑兵可以随时南下太原，太原街道修成“丁”字形对阻遏辽骑兵的驰骋是起了积极作用的。