隋朝统一中国后，隋文帝制三省六部，原本的三公也被取缔。三公九卿制基本宣告废除。
秦始皇设立三公九卿制度，为封建专制主义中央集权国家制度的建立创造了雏形，对以后的历代封建王朝的建立，有着重要的影响。三公九卿制度的基本结构从秦朝一直沿用到两晋，直至隋文帝创三省六部制。从三省六部制的结构上来看，也无处不有着三公九卿制结构的影子。此后，一直到明代，明太祖朱元璋废掉中书省、尚书省及门下省，六部直接对皇帝负责，中国古代历史中的中央官制三级制度才算寿终正寝。三公九卿这一制度沿用约达800年，并从结构上影响三省六部制，并左右中国古代中央官制约达700年。可以说，三公九卿制，上承夏商周，下接隋唐宋元，在中国历史上留下了浓重的一笔。
三公九卿制度虽在结构上沿用了近700年，但在其间，官职的名称及权利和三公九卿制的部分结构却一直在变动之中。并且，制度之外其他中央机构的出现也冲击了三公九卿制。
