汉武帝大将军卫青的母亲名卫媪，是曹参后人平阳侯曹寿家里的奴婢。她生有三子三女，长女卫君儒、次女卫少儿、三女卫子夫、长子卫青、次子卫布、三子卫广，前面的三女一子都是卫媪和小官吏郑季所生，次子和第三子的父亲不是郑季，是和其他人所生。
卫氏家族之所以崛起就因为卫子夫嫁给了汉武帝，家族得以风生水起。卫君儒嫁给了公孙贺；卫子夫嫁给了汉武帝；卫少儿先和一个在平阳府做事的小县官霍仲孺私通有了霍去病，而霍仲孺却不负责，回家之后另外娶妻生子，有一个儿子霍光。
卫少儿后来又搭上了一个叫陈掌的人，此人来头不小。陈掌是汉朝开国大臣陈平的曾孙子，不过不是嫡系所生，也就没有继承陈平曲逆侯的爵位。曲逆侯由陈平的另外一个嫡曾孙陈何继承，有16000户的食邑。陈何后来在大街上强抢他人妻子，被汉武帝罢爵，陈平曲逆侯世袭截止。
陈掌接受了卫少儿，当然也包括霍去病了，他实际上是霍去病的继父。陈掌在卫子夫再度被宠爱成为皇后之后，汉武帝也提拔陈掌担任卫子夫皇后的詹事，负责卫子夫的家中事。
霍去病
卫少儿还是讲情面的，霍去病立下不世功勋之后告诉了他的亲生父亲是谁。
霍去病自从出生之后就没有见过亲生父亲霍仲孺，也没有养育他。不过在西汉那个时代，亲生父亲的影响力还是比较大的。
元狩二年（前121年），霍去病在出征的时候路过平阳，于是召自己的亲生父亲见面，搞得霍仲孺手足无措，自己一天没养的儿子居然成了大将军。虽然比较尴尬，但霍去病还是为他添置房产、土地、奴婢，并且将已经十来岁的霍光带到长安进行培养。
有了霍去病的帮助，霍光才得以进入朝堂，步入汉武帝的视野。霍光在霍去病去世之后一直在汉武帝身边服侍。
但霍光实际上和卫氏家族没有半点血缘关系，巫蛊之祸中因跟随汉武帝才得以免除灾祸。他政治站队中从没有站错队，并且二十多年的做官生涯中没有犯过错误，得到汉武帝的信赖，将后世小皇帝汉昭帝刘弗陵托孤给他。
霍光
23岁的霍去病英年早逝，迫使汉武帝停止了对匈奴的进攻。作为汉武帝重点培养对象的霍去病死了，难免将一部分恩典转移到他的弟弟霍光身上，着力培养他。因汉武帝要遏制卫氏家族的崛起，霍光和卫氏家族也没有血缘关系，从而得以重用。
汉武帝临终之际，封霍光为大将军、大司马，同金日磾、上官桀、桑弘羊共同辅佐汉昭帝。霍光的长女嫁给了上官桀的儿子上官安，另一个女儿嫁给了金日磾的次子金赏，四个托孤大臣，有三个人是姻亲关系。
综合以上来看，没有霍去病哪有霍光的未来，且霍光也确实有两把刷子，二十多年不犯错，可见其政治智慧。
