据《礼记》记载：“夏后氏官百，天子有三公、九卿、二十七大夫、八十一元士。”“设四辅及三公，不必备，惟其人。言使能也。”可见，夏朝时期已经设立三公九卿之职。然而，“三公九卿”具体为何职位，众说不一。
西汉今文经学家认为，《礼记》所载“三公”指司马、司徒、司空；古文经学家则认为太傅、太师、太保为“三公”。秦朝变革官制，不设三公。“置左右丞相，无三公官。”又设太尉管理军事、御史大夫（掌邦国刑宪、典章之政令，以肃正朝列），为丞相副手。因为秦代最高职位有三，后人遂把“丞相”、“太尉”、“御史大夫”并称“三公”。
具体而言：丞相，最高行政长官，辅助皇帝处理政务，同时负责对文武百官的管理。太尉，最高军政长官，负责管理全国军事事务，但他平时没有军权，战时也要听从皇帝的命令，而且要有皇帝的符节才能调动军队，军权实际上也是掌握在皇帝手里。御史大夫，执掌全臣奏章，下达皇帝诏令，负责监察百官的。也是副丞相。
秦汉时期，在这三大职位下设“九卿”，作为中央行政机关分掌具体事务，如祭祀、礼仪、军事、行政、司法、文化教育等。其中包括：1.奉常，掌管宗庙礼仪，地位很高，属九卿之首。2.郎中令，掌管宫殿警卫。3.卫尉，掌管宫门警卫。4.太仆，掌管宫廷御马和国家马政。5.廷尉，掌管司法审判。6.典客，掌管外交和民族事务。7.宗正，掌管皇族、宗室事务。8.治粟内史，掌管租税钱谷和财政收支。9.少府，掌管专供皇室需用的山海池泽之税。
随朝代的更替，“三公九卿”又有不同所指。如东汉确立大司马、大司空和丞相为鼎足而立的三公制；宋代以后，则称太师、太傅、太保为三公。东汉时的九卿为太常、光禄勋、卫尉、太仆、廷尉、大鸿胪、宗正、大司农、少府。到了明清时期，九卿则改为吏、户、礼、兵、刑、工六部尚书，以及都御史、大理寺卿、通政司使。以前的九卿之官己成虚衔或加官、赠官。
