魏征与唐太宗两人之间曾有一段问答。太宗说：我说什么，你只管当时答应，下来有机会再另外陈述意见，难道不行吗？魏征答：“从前舜告诫群臣说：‘你们不要当面顺从我，退下后又有话说。’如果臣当面顺从又另找机会陈述意见，这就是‘退下后又有话说’，难道是稷、契事奉尧、舜的办法吗？”太宗听了大笑：“人言魏征举动疏慢，我但觉妩媚，适为此耳。”
猛一看这段话，感觉魏征也真会说话啊，将太宗比为尧、舜，谁听了不高兴呢？但读接下来这段话，魏征对太宗绝不是虚夸，“征拜谢曰：‘陛下导之使言，臣所以敢谏，若陛下不受臣谏，岂敢数犯龙鳞。’”也确实是这么回事啊，如果赶上万历皇帝，就算魏征说破嘴皮子，对方听吗？
人终有死去的那一天，贞观十七年即公元643年正月，魏征薨。太宗亲临痛哭，罢朝五日。命九品以上官员都去参加魏征的葬礼，并“给羽葆、鼓吹，陪葬昭陵”。如此高的待遇，魏家没全接受，因为厚葬不符合魏征生前之志，魏家拒绝了朝廷馈赠的一切仪仗物品，只用一辆布车载着棺柩送到墓地。那天，太宗登上高楼，向西眺望送葬的队伍，他哭了。赋诗痛悼魏征：“阊阖总金鞍，上林移玉辇。野郊怆新别，河桥非旧饯。惨日映峰沉，愁云随盖转。哀笳时断续，悲旌乍舒卷。望望情何极，浪浪泪空泫。无复昔时人，芳春共谁遣。”
魏征的墓地是太宗亲自定下的，大臣陪葬墓当中数魏征墓离昭陵最近，他知道将来有一天他会来这里和魏征相聚，离得近一些更方便。他亲自为魏征墓碑撰文书丹。做这样的事，在李世民一生中，是第一次，也是惟一的一次。
但令人想不到的是，仅仅几个月以后，当年秋天，太宗就命人将魏征墓碑推倒。事件导火索有二：一是魏征曾推荐杜正伦、侯君集，说他们两人有才干，能任宰相。后来杜正伦因罪罢官，侯君集以谋反罪被杀，这时有人站出来指责魏征，说他阿附恶党。又说魏征曾记下前后谏争之言，悄悄拿给史官褚遂良。也就是说，魏征为让自己名垂千古，把什么都抖落给史官，不顾君王的面子。
太宗大怒。不但“仆倒”墓碑，将字磨去，而且答应魏家的婚事跟着作废。魏家眼看着衰落下来。两年以后，辽东会战，唐军尽力死战，方才破敌。回师途中，太宗怅然，想起魏征：“魏征若在，吾有此行邪？”即召其家觐见，“赐劳妻子，以少牢祠其墓，复立碑，恩礼加焉。”
当初碑拉倒，字迹磨去，如今又立起来，官吏一定请示过：字还刻吗？太宗没有答应，就这样吧。一位媒体前辈这样写道：“做出那个决定的时候，李世民真正读懂了魏征。有些东西是可以磨去的，比如字，有些东西是磨不去的，比如魏征。立在地上的碑石，再高大，都有倾倒的一天。魏征活在人的心中，有那些字，是座丰碑，没那些字，也是座丰碑。”