古代社会等级森严，连穿衣服都有各种各样的限制，平民百姓只能穿麻布的衣服，不能穿丝绸锦绣，因此用“布衣”来指称平民百姓。《荀子·大略》：“古之贤人，贱为布衣，贫为匹夫。”西汉学者桓宽在《盐铁论》一书中解释道：“古者庶人耋老而后衣丝，其余则麻枲而已，故命曰布衣。”麻枲（xǐ）即麻布衣服。七八十岁称“耋”，也就是说平民百姓只有到了七八十岁才能穿丝绸衣服。我国古代盛产各种麻类，因此麻织品属于最贱的布料，人人都穿得起。今天麻织品反而成了时尚，比棉布要贵多了，真是风水轮流转啊！
西汉开国功臣很多都是“起自布衣”，称作“布衣将相”，正如同陈胜的感叹：“王侯将相，宁有种乎！”“白丁”的称谓出自“白徒”和“白屋”。白徒指没有军籍临时征集的壮丁；白屋指平民百姓居住的房屋。按照等级制，平民百姓的房屋不准涂饰彩绘，因此都露出了木材的本色，故称“白屋”。还有一种说法是平民百姓只能用白茅草覆盖屋顶，所以叫“白屋”。“丁”是对成年男子的称呼，男子成年后要担当赋役，这时开始称为“丁”。成年的年龄标准历朝历代不太一样，有四十为丁，有二十三岁为丁，有二十一岁为丁，有二十岁为丁。“白丁”意为临时征集的壮丁。不过那时还没有这个称谓，仅仅叫“白徒”，后来引申开去，把没有功名没有官职的平民一概叫作“白衣”。唐代参加科举考试的举子们因为是官员的后备军，因此统称之为“白衣公卿”。
“白丁”的正式称谓始于唐代或者稍早，刘禹锡著名的文章《陋室铭》使“白丁”这一称谓广为人知：“谈笑有鸿儒，往来无白丁。”“白丁”与“鸿儒”对举，是指没有学问的人。唐诗中有好几处类似的称谓，韦应物《采玉行》：“官府征白丁，言采蓝溪玉。”这里的“白丁”是指官府临时征发的采玉工人。牟融《题朱庆余闲居四首》：“白丁门外远，俗子眼前无。”“白丁”与“俗子”对举，是指普通人。罗隐《中元甲子以辛丑驾幸蜀四首》：“白丁攘臂犯长安，翠辇苍黄路屈盘。”这里的“白丁”指黄巢等义军，都出身平民。
搞笑的是，在今天的网络语言中，用“白丁”一词指那些不要孩子的丁克夫妻半途反悔生育子女的行为，意思是“白白丁克了一回”，可发一笑！