公元1621年，努尔哈赤南侵大明，世居东北且在当地任职的曹世选被俘后降清，这个曹世选正是曹雪芹的五世祖。
曹世选降清时不是他一个人，而是他一家人，其中就包括他的儿子曹振彦。曹振彦本人文武双全，且又属于政治相对过硬的“降二代”，因此女真上层对他比较认可，他在一番努力之下，被多尔衮提拔为了牛录章京，这个官职虽然不算特别大，但是当时的女真规模也十分有限，所以曹振彦的这个官职含金量非常足。
按理说，曹振彦以包衣（奴隶）的身份混到牛录章京已经算是不错，但是曹振彦对自己还有更高的要求，他在戎马生涯的征战途中，还抽空考了一个贡士。从来只有马上得天下，而没有马上治天下的，要想家业长盛不衰，就不能一直在戎马上谋出身，曹振彦的祖上是宋朝的大将曹彬，所以他家对职业的规划非常地清晰。
曹振彦考中贡士之后，就开始从武职转文职，并从一个“小小”的知州一路做到了三品的浙江都转运盐法道，曹家由此开始在江南有了根基。曹家在刚刚加入清廷时，隶属于正白旗，但是随着多尔衮去世，正白旗就成了皇室的重要组成部分，而曹家也因此而更加靠近帝国的心脏。
公元1654年康熙出生，按照惯例康熙要由乳母抚养长大，不过这个乳母可不是随便找的，而是必须在镶黄、正黄、正白等直属于皇家的上三旗中去找，当时给康熙当乳母的，就是曹振彦的儿媳妇孙氏，孙氏当时有一个儿子叫曹玺，这个曹玺就是曹家被清廷派往江南的第一任江宁织造。
江宁织造的本职工作是负责皇室布料的采购，但是当时清廷的江宁织造却远不止这一项工作。众所周知，清朝初年没有学明朝搞什么锦衣卫等明面上的特务机构，但是作为一个“外来户”，它却对基层的情况的了解更为迫切，而这份艰巨的任务就交给了皇家的自己人——包衣奴才。
因为曹玺虽然是以采购的名义坐镇江南，但实际上充当的却是皇帝的耳目，大臣们对于这种安排也是心知肚明，所以曹玺这个名义上的五品小官，到了江南之后立刻就混得风生水起。曹玺在江宁织造的位置上干了二十多年，工作干得十分漂亮，康熙对他十分认可，在他死后不光赠他了一个一品衔，还亲自到曹家进行了慰问，这种待遇就是一般的阁臣也未必能享受的到。
不过曹玺还不算是曹家最高光的，比他更胜一筹的是他儿子曹寅。曹寅的亲妈是康熙的乳母，自己又在宫中和康熙一起长大，所以他和康熙的私人感情很深，他去世以后，他就被安排去江南顶他爹留下来的岗位（先去苏州过渡了一下）。
曹寅本人也是个厉害角色，他在江南时除了在本职的两项工作中表现非常出色之外，还在江南的士林打造出了一定的影响力，这是康熙默许且喜闻乐见的，因为曹寅不光和康熙有私交，在公事上也一直给康熙长脸，所以康熙对他比他爹更好，康熙六次南巡，四次都在曹家落脚。虽然曹家因此亏空了一些银钱，但是康熙入住他家所带来的正面作用却更大。
凡事有利就有弊，巨大的亏空也让曹家陷入了麻烦，不过因为有康熙的情分在，所以曹寅在世时康熙并没有对曹家进行问责。其实不光康熙对曹家网开一面了面，就是雍正皇帝继位以后，也并没有一上来就非要把曹家抄个干净。
曹寅去世以后，继承他位子的人是他的长子曹颙，也就是曹雪芹的亲爹。因为从曹寅开始，曹家为了一些政治目的，曾广泛结识江南的文人团体，所以曹颙本人对文学比功名更加上心，因此也有人考证，《红楼梦》的原作者可能是曹雪芹他爹而不是他本人。
这种考证还有待足够的证据去证明，不过目前可以确信的是，曹颙因为在别的地方用多了心思，所以在工作上的努力，远不如他爷爷和他爹，为此康熙曾在曹颙的奏折批复中批评过曹颙，如果不是康熙念旧，可能在康熙朝曹家就要出问题了。
雍正在“九王夺嫡”中胜出以后，曾对吏治进行过大力的整顿，曹家因为是亏空大户，所以雍正对曹家的惩治力度也比较狠，也有人认为，曹家之所以被雍正清算，其实并不全是因为曹家有那么多的亏空一直没还上，而是因为曹家在“九王夺嫡”时站错了队，所以才遭到了雍正的打击报复。
那么真相究竟如何呢？
公元1724年，是雍正皇帝继位的第二年，曹颙曾给雍正递过折子，大意是说自己会想办法补上亏空，雍正当时的回复是：行啊，你只要说话算话就行（只要心口相应，若果能如此，大造化人了）
结果曹颙并没有真心想办法从正途想办法还钱，而是开始找各种门路，结果这就让雍正很不开心。当时曹颙按惯例给雍正上请安折子，雍正不光点明了曹颙的问题，还给他指了一条名明路，让他去找十三爷。
当时雍正正在搜集之前政敌的证据，雍正此举可能是想让曹家当刀，不知道是曹颙为人清高，不愿意干这种事，还是行动得不够迅速，或者他没有明白雍正的真意，总之在雍正连续两次没有翻脸的情况下，曹颙并没有做出让雍正满意的事来，于是不久之后，雍正随便就找了个理由把曹颙给免了职。
在封建社会，皇帝的好恶可以影响到法律和朝臣的态度，曹颙一被免职自然就成了万人捶的破骨，然后很快就被雍正清算，曹家由此走向了没落。
综上所述，曹家的没落可能不仅仅是因为家里的亏空，也不仅仅是因为曹家当年的战队可能出现了问题，其中最重要的原因，应该是曹颙本人的能力不如他爷爷和他爹，如果他的思想能成熟一点，心思能活络一点，工作能力再强一点，曹家的结局可能就会完全不一样了。
