在人们的日常口语中，形容一个人是当兵的出身常常说“行伍出身”。“行伍”为什么能指当兵呢？很多人都语焉不详。
“伍”是一个会意字，从人，从五，本义是五人构成一个集体，五人为“伍”。古代的户籍制度和军队建制都以“伍”为最小单位，五家编为一伍，因此平民的户籍称作“伍籍”。军队建制则是五名士兵编为一伍，一伍设长官一名，称作“伍长”或“伍伯”。今天管参军叫“入伍”，就因为“伍”是军队的最小单位，参军要从这个最小的单位做起，故以“入伍”指称参军。
《孙子兵法·谋攻》篇中说：“用兵之法，全国为上，破国次之；全军为上，破军次之；全旅为上，破旅次之；全卒为上，破卒次之；全伍为上，破伍次之。”这里的“全”是动词，保全。孙子所说的用兵之法是指少杀人，以保全对方的兵力，使敌军投降为上策，所谓“不战而屈人之兵也”。“伍”是最小单位；百人为一“卒”，长官称“卒长”；五百人为一“旅”，长官称“旅长”；“军”是最大的编制单位，春秋时期，大的诸侯国常设上、中、下三军，人数多少不一，大致在一万人以上。
五伍称作“行（háng）”，也就是说一行是二十五人，故以“行伍”代表军队。又直排为“行”，横排为“列”，故有“行列”一词。贾谊《过秦论》描述陈涉“蹑足行伍之间”虽然指陈涉乃军人出身，但强调的是他处于军队的最低层，后来不管是士兵还是军官一律以“行伍出身”指称了。