“斯文扫地”既指不尊重文化人，也用来形容文化人自甘堕落。要讲清楚“斯文扫地”的来源，先要把“斯文”和“扫地”分开来讲。
“斯文”一词出自《论语·子罕》。有一年，孔子从卫国去陈国，路经“匡”这个地方，匡人曾经遭受过鲁国权臣阳虎的掠夺和残杀，孔子和阳虎的相貌非常相像，匡人还以为孔子就是阳虎呢，就把孔子围困了五天。孔子饥饿交加，叹息道：“文王既没，文不在兹乎？天之将丧斯文也，后死者不得与于斯文也；天之未丧斯文也，匡人其如予何？”这段话的意思是：周文王死了之后，周代的礼乐文化不都体现在我的身上吗？上天如果想要消灭这种文化，后人就不会掌握这种文化了；上天如果不想消灭这种文化，匡人又能把我怎么样呢？这里的“文”指周代的礼乐教化和典章制度，“斯”是“此”的通假字，意为这、这个、这种，“斯文”即这种文化。后来就用“斯文”一词指称文化人，进而用作形容词，比喻人温文尔雅的样子。
“扫地”从打扫地面引申为除尽、丢光，比如扬雄的《羽猎赋》：“军惊师骇，刮野扫地。”李善注：“言杀获皆尽，野地似乎扫刮也。”“扫地”一词用在人身上始于汉代。班固在《汉书》中感叹道：“秦灭六国，而上古遗烈扫地尽矣。”“遗烈”指炎黄尧舜时期的刚强之士，秦灭六国之后，这些上古之士全部灭绝了。
唐代有一个著名的“扫地”故事。祝钦明是唐中宗时期的礼部尚书，有一次中宗跟群臣一起聚餐，祝钦明声称自己会跳“八风舞”，中宗就请他跳给大家看。祝钦明是个大胖子，只见他摇头摆尾，瞪圆了双眼，左顾右盼，舞姿可想而知有多么丑陋，惹得中宗大笑不已。旁边的吏部侍郎卢藏用叹息道：“是举五经扫地矣！”“五经”即《诗》《书》《易》《礼》《春秋》这五部儒家经典，泛指文化，卢藏用因此感叹祝钦明此举丢人现眼，把文化人应该保有的风度尽皆丢光了。
杜甫有“豪俊何人在，文章扫地无”的诗句，也是这个意思，而黄庭坚“风流扫地无寻处”的诗句更接近“斯文扫地”一词。
大约从清代开始，“斯文”和“扫地”开始连用，跟今天的意思一模一样。清初学者褚人获就在文章中写过：“徒使斯文扫地，岂知富贵在天。”