卫青，字仲卿，河东平阳（今山西省临汾市西南）人。他的母亲在平阳公主家做女仆，因丈夫姓卫，她就被称为卫媪。平阳公主原号阳信长公主，是汉武帝的姐姐，因嫁与平阳侯曹寿（汉初名臣曹参之曾孙）为妻，所以也称平阳公主。
卫媪生有一男三女，即儿子长君，长女君孺、次女少儿、三女子夫。丈夫死后，她仍在平阳侯家中帮佣，与同在平阳侯家中做事的县吏郑季私通，生了卫青。卫青在母亲的关怀下渡过了童年。后来，他的母亲感觉供养他非常艰苦，就把他送到了亲生父亲郑季的家里。但郑季的夫人根本看不起卫青这个私生子，让他到山上放羊，郑家的几个儿子也不把卫青看成手足兄弟，随意苛责。卫青在这样的环境下生活，受尽了苦难，在他的性格形成上打下了深深的烙印。有一次，卫青跟随别人来到甘泉宫，一位囚徒看到他的相貌后说：“你现在穷困，将来定为贵人，官至封侯。”卫青笑道：“我身为人奴，只求免遭笞骂，已是万幸，哪里谈得上立功封侯呢？”
卫青长大后，不愿再受郑家的奴役，便回到母亲身边。平阳公主看到卫青已长成了一个相貌堂堂的彪形大汉，非常喜欢，就让他做了自己的骑奴。每当公主出行，卫青即骑马相随。虽然没有一官半职，但与在郑家时的情景相比已是天壤之别。卫青聪明好学，渐渐学到了一些文化知识，懂得了一些上层阶级礼节。他怨恨郑家对他没有一点亲情，决定冒姓为卫，完全与郑家断绝关系。
公元前139年春，卫青的姐姐卫子夫被汉武帝选入宫中，卫青也被召到建章宫当差。这是卫青命运的一大转折点。
卫子夫入宫不久，就有了身孕，引起了陈皇后的嫉妒。陈皇后就是汉武帝姑姑的女儿，当年曾让他许下“金屋藏娇”誓言的陈阿娇，与汉武帝成亲后，被立为皇后，但一直未能给汉武帝生一个儿子。她担心卫子夫一旦生下的是个男孩，那就会被立为太子，而卫子夫也就会因为儿子的关系，青云直上，成为皇后。这对她的地位无异是一个很大的威胁。但是，眼下卫子夫正得汉武帝的宠幸，陈皇后对她不敢加害，就找母亲大长公主诉屈。大长公主是汉武帝的姑姑，为了给女儿出气，嫁祸于卫青。她找了一个借口，把卫青抓了起来，并准备处死。卫青当骑奴时结识的好友公孙敖听到了消息，马上召集了几名壮士，赶往抢救，把卫青从死亡的边缘夺了回来。另一方面，公孙敖还派人给汉武帝送信。汉武帝得知后，大为愤怒，索性召见卫青，任命他为建章宫监、侍中。不久，汉武帝封卫子夫为夫人，提升卫青为太中大夫。可以说，卫青是沾了他姐姐的大光的。
公元前129年，匈奴又一次兴兵南下，前锋直指上谷（今河北省怀来县）。汉武帝果断地任命卫青为车骑将军，迎击匈奴。从此，卫青开始了他的戎马生涯。
这次用兵，汉武帝分派四路出击。车骑将军卫青直出上谷，骑将军公孙敖从代郡（今河北蔚县东北）出兵，轻车将军公孙贺从云中（今内蒙古托克托东北）出兵，骁骑将军李广从雁门出兵。四路将领各率一万骑兵。卫青首次出征，但他英勇善战，直捣龙城（匈奴祭扫天地祖先的地方），斩首700人，取得胜利。另外三路，两路失败，一路无功而还。汉武帝看到只有卫青胜利凯旋，非常赏识，加封关内侯。
汉朝对匈奴的反击，使得匈奴的进犯更加猖狂了。公元前128年的秋天，匈奴骑兵大举南下，先攻破辽西，杀死了辽西太守，又打败渔阳守将韩安国，劫掠百姓两千多人。汉武帝派匈奴人敬畏的飞将军李广镇守右北平（今辽宁省凌源西南），匈奴兵则避开李广，而从雁门关入塞，进攻汉朝北部边郡。汉武帝又派卫青出征，并派李息从代郡出兵，从背后袭击匈奴。卫青率三万骑兵，长驱而进，赶往前线。卫青本人身先士卒，将士们更是奋勇争先。斩杀、俘获敌人数千名，匈奴大败而逃。
公元前127年，匈奴贵族集结大量兵力，进攻上谷、渔阳。武帝决定避实击虚，派卫青率大军进攻久为匈奴盘踞的河南地（黄河河套地区）。这是西汉对匈奴的第一次大战役。
卫青率领四万大军从云中出发，采用“迂回侧击”的战术，西绕到匈奴军的后方，迅速攻占高阙（今内蒙古杭锦后旗），切断了驻守河南地的匈奴白羊王、楼烦王同单于王庭的联系。然后，卫青又率精骑，飞兵南下，进到陇西，形成了对白羊王、楼烦王的包围。匈奴白羊王、楼烦王见势不好，仓惶率兵逃走。汉军活捉敌兵数千人，夺取牲畜一百多万头，完全控制了河套地区。因为这一带水草肥美，形势险要，汉武帝在此修筑朔方城（今内蒙古杭锦旗西北），设置朔方郡、五原郡，从内地迁徙十万人到那里定居，还修复了秦时蒙恬所筑的边塞和沿河的防御工事。这样，不但解除了匈奴骑兵对长安的直接威胁，也建立起了进一步反击匈奴的前方基地。卫青立有大功，被封为长平侯，食邑3800户。
匈奴贵族不甘心在河南地的失败，一心想把朔方重新夺回去，所以在几年内多次出兵，但都被汉军挡了回去。公元前124年春，汉武帝命卫青率三万骑兵从高阙出发；苏建、李沮、公孙贺、李蔡都受卫青的节制，率兵从朔方出发；李息、张次公率兵由右北平出发。这次总兵力有十几万人。匈奴右贤王认为汉军离得很远，一时不可能来到，就放松了警惕。卫青率大军急行军六、七百里，趁着黑夜包围了右贤王的营帐。这时，右贤王正在帐中拥着美妾，畅饮美酒，已有八九分醉意了。忽听帐外杀声震天，火光遍野，右贤王惊慌失措，忙把美妾抱上马，带了几百壮骑，突出重围，向北逃去。汉军轻骑校尉郭成等领兵追赶数百里没有追上，却俘虏了右贤王的小王十余人，男女一万五千余人，牲畜有几百万头。汉军大获全胜，高奏凯歌，收兵回朝。
汉武帝接到战报，喜出望外，派特使捧着印信，到军中拜卫青为大将军，加封食邑8700户，所有将领归他指挥。卫青的三个儿子都还在襁褓之中，也被汉武帝封为列侯。卫青非常谦虚，坚决推辞说：“微臣有幸待罪军中，仰仗陛下的神灵，使得我军获得胜利，这全是将士们拚死奋战的功劳。陛下已加封了我的食邑，我的儿子年纪尚幼，毫无功劳，陛下却分割土地，封他们为侯。这样是不能鼓励将士奋力作战的。他们三人怎敢接受封赏。”汉武帝随后又封赏了随从卫青作战的公孙敖、韩说、公孙贺、李蔡、李朔、赵不虞、公孙戎奴、李沮、李息、豆如意等。
经过几次打击，匈奴依然猖撅。入代地，攻雁门，劫掠定襄（今内蒙古和林格尔）、上郡（今陕西绥德县东南）。公元前123年二月，汉武帝又命卫青攻打匈奴。公孙敖为中将军，公孙贺为左将军，赵信为前将军，苏建为右将军，李广为后将军，李沮为强弩将军，分领六路大军，统归大将军卫青指挥，浩浩荡荡，从定襄出发，北进数百里，歼灭匈奴军数千名。这次战役中，卫青的外甥霍去病率800精骑首次参战，取得了歼敌两千余人的辉煌战果。战后全军返回定襄休整，一个月后再次出塞，斩获匈奴军一万多名。但是，右将军苏建和前将军赵信与匈奴打了一场遭遇战，汉军死伤惨重，苏建突围逃回，赵信本是匈奴降将，兵败后就又投降了匈奴。
在讨论如何处置苏建弃军而逃的罪过时，有人建议将他斩首以建立大将军的威严，有人认为苏建是尽力而战的，不应斩首。卫青认为自己身为皇亲国戚，没有必要再建立威严；自己本有权力可以处决部将，却不敢擅杀。他要做一个人臣不敢专权的榜样，于是把苏建用囚车送回长安由皇帝处理。汉武帝赦免了苏建的死罪，令其交纳了赎金后贬为平民。
公元前121年，西汉对匈奴的第二次大战役开始，由霍去病指挥，结果使汉朝完全控制了河西地区，切断了匈奴与羌人的联系。
为了彻底击溃匈奴主力，汉武帝集中全国的财力、物力，准备发动对匈奴的第三次大战役。公元前119年春，汉武帝召集诸将开会，商讨进军方略。他说：“匈奴单于采纳赵信的建议，远走沙漠以北，认为我们汉军不能穿过沙漠，即使穿过，也不敢多作停留。这次我们要发起强大的攻势，达到我们的目的。”于是挑选了十万匹精壮的战马，由大将军卫青、骠骑将军霍去病各率精锐骑兵五万人，分作东西两路，远征漠北。为解决粮草供应问题，汉武帝又动员了私人马匹四万多，步兵十余万人负责运输粮草辎重，紧跟在大军之后。
原计划远征大军从定襄北上，由霍去病率骁勇善战的将土专力对付匈奴单于。后来从俘获的匈奴兵口中得知匈奴伊稚斜单于远在东方，于是汉军重新调整战斗序列。汉武帝命霍去病从东方的代郡出塞，卫青从定襄出塞。
大将军卫青麾下，强将济济。李广为前将军，公孙贺为左将军，赵食其为右将军，曹襄为后将军。卫青考虑到前将军李广年纪已高、运气又不好，就没让他担任先锋，而是与右将军赵食其两军合并，从右翼进行包抄。卫青自己率左将军公孙贺、后将军曹襄从正面进兵，直插匈奴单于驻地。
赵信向伊稚斜单于建议：“汉军不知道厉害，竟打算穿过沙漠。到时候，人困马乏，我们以逸待劳，就可以俘虏他们。”于是下令所有的粮草辎重，再次向北转移，而把精锐部队埋伏在了沙漠北边。
卫青大军北行一千多里，跨过大沙漠，与严阵以待的匈奴军遭遇了。卫青临危不惧，命令部队用武刚车（铁甲兵车）迅速环绕成一个坚固的阵地，然后派出5000骑兵向敌阵冲击。匈奴出动一万多骑兵迎战。双方激战在一起，非常惨烈。黄昏时分，忽然刮起暴风，尘土滚滚，沙砾扑面，顿时一片黑暗，两方军队互相不能分辨。卫青乘机派出两支生力军，从左右两翼迂回到单于背后，包围了单于的大营。伊稚斜单于发现汉军数量如此众多，而且人壮马肥，士气高昂，大为震动，知道无法取胜，就慌忙跨上马，在数行精骑的保护下奋力突围。向西北方向飞奔而去。
这时，夜幕已经降临，战场上双方将士仍在喋血搏斗，喊杀声惊天动地。卫青得知伊稚斜单于已突围逃走，马上派出轻骑兵追击。匈奴兵不见了单于，军心大乱，四散逃命。卫青率大军乘夜挺进。天亮时。汉军已追出二百多里，虽然没有找到单于的踪迹，却斩杀并俘虏匈奴官兵19000多人。卫青大军一直前进到真颜山赵信城（今蒙古乌兰巴托市西），获得了匈奴屯积的粮草，补充军用。他们在此停留了一天．然后烧毁赵信城及剩余的粮食。胜利班师。
霍去病率领的东路军，北进两千多里，与匈奴左贤王的军队遭遇。经过激战，俘获了匈奴三个小王以及将军、相国、当户、都尉等83入，消灭匈奴七万多人。左贤王败逃而去。
这次战役，汉军打垮了匈奴的主力，使匈奴元气大伤。从此以后，匈奴逐渐向西北迁徙，出现了“漠南无王庭”，匈奴对汉朝的军事威胁基本上解除了。
汉武帝为表彰卫青、霍去病的大功，特加封他们为大司马。
卫氏一门显赫后，京城中有歌谣说：生男无喜，生女无怨，独不见卫子夫霸天下。意思是说卫氏一门的显贵全靠了卫皇后。其实不然，在两汉时期，左右朝政的外戚大多是靠裙带关系窍居高位的，而卫青、霍去病却是出生入死，浴血奋战，为国家做出了重大贡献。正因为如此，即使后来卫皇后失宠，二人在朝廷的地位也丝毫未受影响。
家奴出身的卫青如今变成了贵极人臣的大将军，朝中官员无不巴结奉承。这时，平阳公主寡居在家，要在列候中选择丈夫，许多人都说大将军卫青合适，平阳公主笑着说：他是我从前的下人，过去是我的随从，怎么能做我的丈夫呢？左右说：大将军已今非昔比了，他现在是大将军，姐姐是皇后，三个儿子也都封了候，富贵震天下，哪还有比他更配得上您的呢。汉武帝知道后，失笑道：当初我娶了他的姐姐，现在他又娶我的姐姐，这倒是很有意思。于是当即允婚。时迁事移，当年的仆人就这样做了主人的丈夫。这样一来，卫青与汉武帝亲上加亲，更受宠信。但卫青为人谦让仁和，敬重贤才，从不以势压人。
后来，汉武帝对霍去病恩宠日盛，霍去病的声望超过了他的舅舅卫青，过去奔走于大将军门下的许多故旧，都转到了霍去病门下。卫青门前顿显冷落，可他不以为然，认为这也是人之常情，心甘情愿地过着恬淡平静的生活。
卫青率军与匈奴作战，屡立战功，所得封邑总共有一万六千三百户。虽然战功显赫，权倾朝野，但从不结党干预政事。他和霍去病不同，对士卒体恤较多，能与将士同甘苦，威信很高。最后卫青病死于公元前105年。
公元前106年，大司马大将军卫青去世，汉武帝命人在自已的茂陵东边特地为卫青修建了一座象庐山（匈奴境内的一座山）的坟墓，以象征卫青一生的赫赫战功。