战国时亦作掌书,齐、秦均置。秦属少府,为低级官员,在殿中主发布文书。秦及汉初与尚冠、尚衣、尚食、尚浴、尚席,称"六尚"。武帝时,因系近臣,地位渐高。和御史、史书令史等都是由太史选拔。在汉宣帝时期权势就已经很高,《汉书》盖宽饶传记载,担任卫司马的盖宽饶向尚书投诉卫尉不合理差遣,尚书责成卫尉废除弊端。
卫尉是中二千石,仅次于三公的品秩,尚书在当时已经是有实权的职务了。《后汉书》光武帝本纪注解:《汉官仪》曰:“尚书四员,武帝置,成帝加一为五。有常侍曹尚书,主丞相御史事。二千石尚书,主刺史、二千石事。户曹尚书,主人庶上书事。主客尚书,主外国四夷事。
成帝加三公尚书,主断狱事。”成帝置尚书五人,秩六百石,分掌三公曹、常侍曹、二千石曹、户曹、主客曹,职权始重。东汉政悉归尚书台,各曹尚书地位更见重要,其主客尚书令至成为总揽事权的贵官。时尚书分掌各曹,官名只称尚书,不冠以某曹名义。汉灵帝任梁鹄为选部尚书,始用曹名。
魏有五曹,晋增为六曹。后尚书台改名尚书省,曹改称部,列曹(各部)尚书遂为贵官。隋以后尚书为六部长官。隋、唐正三品。明正二品。清未增设外务、邮传等部,主官亦称尚书。宣统三年,始改尚书为大臣。