胡雪岩是富甲天下的大商人，因此他在上海的一言一行、一举一动，都是人们关注的焦点。对于大众来说，最感兴趣的，自然是胡雪岩的风月传闻。而在各种笔记小说中，流传有大量关于胡雪岩的风流故事。
根据史学研究，胡雪岩直到35岁才娶了一个小妾。这是因为胡雪岩的正妻陆氏颇有手段，将胡雪岩的母亲——金老太太伺候得舒舒服服。因此在家中，陆氏有着说一不二的权力。
然而陆氏虽然手段狠辣，但仍有个致命的缺陷，那就是生不出男孩。胡雪岩一想到自己偌大的家业，将落于外姓之手，每日都急得像热锅上的蚂蚁。最终，胡雪岩以各种手段，娶来了二房——芙蓉夫人。开了这个口子，胡雪岩更是一发不可收拾。在他破产前，胡府内一共有13个明媒正娶的妾室，被杭州人戏称为“杭州十三钗”。
但实际上，胡雪岩的红粉知己，绝不止这“十三钗”。据《见闻琐录》记载：胡雪岩酷爱女色、荒淫无度，他经常在大街上寻觅美色，只要看见有姿色的美丽女子，立刻请人下聘说和，不管对方“身价”多高，他也绝不计较。
据说有一天，胡雪岩经过一个裁缝店，发现掌柜的闺女长得特别标志。裁缝店掌柜见有人直勾勾地盯着自己女儿，很是警惕。他仔细一看，不是别人，正是大富商胡雪岩。于是他赶紧关上大门，并嘱咐女儿不得再抛头露面。
裁缝店父女以为这事就这么过去了。但是几天后，胡雪岩就带着自己的马仔闯入裁缝店，目的只有一个——求亲。一听见这两个字，掌柜的女儿当时就蒙了，咱俩连一面之缘都谈不上，怎么就开始谈婚论嫁了？
一开始，裁缝店老板誓死不从。虽然裁缝一家不算富裕，但也算是良家之人。但凡是良家之女，都不会给其他人做妾。只有青楼或卖身为奴的女子，才会给人做侧室。
然而在胡雪岩的淫威和软磨硬泡之下，裁缝店老板最终松了口、毕竟胡雪岩钱多势大，不好惹啊。虽然妾室的名头不好听，但是吃喝肯定是不愁的。
谁知父亲屈从了，但是女儿却不肯听命。管你什么富商巨贾，我就是不嫁。因此不管胡雪岩如何地阿谀奉承，这位掌柜的女儿依旧誓死不从，最后贞节烈女的劲头一上来，悬梁自尽了。
胡雪岩强抢民女，闹出了人命，事情传出去，就算王公贵族也要被扒层皮。但是胡雪岩有的是钱，可以找贪官污吏为他上下打点。最终判决是，女子身染重病，不能“控制”自己的行动，这才悬梁自尽。
还有一次，胡雪岩正在自家药房看账本，正赶上一个风姿绰约的少妇前来抓药。看着这位少妇，胡雪岩眼珠子都要瞪出来了。于是胡雪岩派他的马仔打探这个女子的信息，最终发现这女子是有老公的。她的老公，是个穷酸秀才。
虽然已经名花有主，但是胡雪岩可不准备就这么罢手。于是他派人闯入穷秀才家，丢下几千两白银，就强行将少妇拉走了。然而秀才虽然穷，但毕竟是知识分子，有尊严。要知道，秀才遇见县官都是不用下跪的。
于是他一纸诉状告到了府台，但是胡雪岩手眼通天，秀才的上告犹如石沉大海，根本没有回音。事实上，秀才与妻子关系很好。由于求告无门，秀才和妻子双双自杀。当然，胡雪岩还是啥事都没有。
既然胡雪岩通过各种手段，娶了那么妾室，为何最终留在府内的，仅有“杭州十三钗”呢？原来，胡雪岩素来喜新厌旧。往往只是过了一夜，就失去对枕边人的兴趣，然后用几百两纹银将之打发回家。
有时候为了贿赂官员，也会将自己的女人忍痛割爱。例如他在勾结地方大员何桂清时，就曾将自己的妾室“转让”给他。不过何桂清倒台后，这名小妾又回到了胡雪岩身边。
除此之外，胡雪岩还有个奇特的爱好，那就是“人肉象棋”。在胡家大院里，有个大型棋盘，他便让自己的妻妾、婢女站在棋盘上追对厮杀，以此取乐。
可以说在女人方面，胡雪岩是相当高调，这也为街头巷尾的百姓，提供了许多八卦新闻。有关于他豪奢的段子，更是流传于天下。
中国有句俗话，叫“枪打出头鸟”，但凡是中国的富人，往往都会选择韬晦藏富。越是露富，越是死得快。以胡雪岩的精明，难道连这点都意识不到吗？
在学者雪珥看来，胡雪岩在女人以及生活上的高调，实际并非完全是好色或狂妄，而是一种包装策略。其实他并没有那么富，却装成那么富。他想以自己的高调，来增强市场对他的信心。
对于普通大众来说，最热衷的新闻自然是桃色新闻。而胡雪岩抓住看客们的心理，于是他一天娶一个老婆，一夜过后，再花数百两白银休掉。看客们在惊讶于胡雪岩风流的同时，自然也能意识到胡雪岩的财力非同小可。毕竟在当时，数百两白银不是一笔小数目。
直到今天，许多富豪也是这么做的。他们即使借钱，也要一掷千金，买豪车、买游艇、买私人飞机、娶女明星，在大众媒体上招摇过市。前段时间，万达公子王思聪到处炫富，每隔几个月就换个女朋友。在吸引大家眼球的同时，也给市场增加了对他的信心——“王公子真的很有钱。”在王思聪的操作下，其父王健林交给他的5亿启动资金，一度膨胀到60亿。
由此可见，胡雪岩的各种“怪癖”，实际是一种广而告之的手段。可以说，他的策略是相当高明的。在雪珥看来，或许正是因为胡雪岩善于营销自己，才让他成为“中国首富”。但实际上，胡雪岩没有我们想象中那么富有！
常言道，“大潮退去，就知谁在裸泳”。胡雪岩投资生丝遭遇惨败后，李鸿章联合盛宣怀，趁机针对胡雪岩掀起了挤兑风潮。在这场雪崩般的风潮下，胡雪岩的资金链完全断裂，光是北京的钱庄分号就积欠公私财产1200万两。官府查封胡雪岩的宅邸，发现“富可敌国”胡雪岩完全就是个空壳子，并没有多少现金。所谓的首富，实际也是个裸泳之人。
正所谓“树倒猢狲散”，胡雪岩失势后，往日与他你侬我侬的美妾开始变得疾言厉色。无奈之下，胡雪岩只好遣散众妾，唯有罗四太太为他送终。
