尽管黄老爷子从未拜过老头子、开过香堂，是个“空子”，他却凭借着势大力大而自称为“天字辈”青帮老大。当时，上海滩青帮最高辈分为“大”字辈。在那个黑白颠倒的年代里，黄金荣利用手里的权，贩卖鸦片、开设赌场、合伙开跑狗场等，不到几年就成为上海滩里的头号大亨。黄金荣担任法巡捕房华探督察长长达20多年，直到他60岁生日后才辞职，即使如此，法巡捕房警务处还继续聘请他担任顾问。这些事也是他后来最大的败笔，一生的污点也就是从这时开始。
只是此刻穷途末路的黄金荣，曾经的媳妇林桂生席卷了黄金荣的金银珠宝离开了上海，而此时的82岁的黄金荣面临人生的最后一次抉择——或去台湾，或留上海。最终，黄金荣留了下来。“以不变应万变”是他的处世信条，反正来日无多，听天由命吧。但黄金荣心里明白，自己已是80多岁的人，死了倒不要紧，只怕在半路上生急病，死在途中，那就糟糕了。他对人说：“我已经是快进棺材的人了，我一生在上海，尸骨不想抛在外乡，死在外地。”
从此黄金荣蛰居在家，深居简出，不问外事，在不少人以为黄金荣早已逃往台湾或香港地区，或被人民政府逮捕入狱。黄金荣还是每日享受三样东西：吸大烟、搓麻将、下澡堂。他对人说，这“三件套”是他最大的享受，不管是国民党当权，还是共产党天下，都是如此，要陪他到老死。他能留在上海不走，这“三件套”也有一半功劳。
当时黄家上上下下二十多口人，都住在龙门路均培里一号。也就是黄金荣发迹后造的一幢三层洋房，有几十个房间。黄的居室在二楼东端，附近房屋大多由他的门徒租住，可以互通声气，方便走动。除夏天避暑去漕河泾黄家花园住一段时间，黄金荣一直居住于此。人民政府这时还允许黄金荣照常经营他的产业，如大世界、黄金大戏院、荣金大戏院等，每月都有一笔不菲的收入。
只是后来镇压反革命运动开始后，黄金荣的日子开始难过起来，市民甚至自发涌到黄宅门口，要求他接受批斗。一封封控诉信、检举信，如雪片般飞进市政府和公安机关，恳请政府作主，为民报仇雪恨。
人民群众的反响极其强烈，都说没有想到这个大亨还活着，受到共产党的如此宽大，一时之间杀黄呼声响彻云天。在严峻的形势面前，连黄金荣的一些门徒也起而揭发，要求靠拢共产党，与黄老板划清界线。这时候的黄金荣，真的成了一只过街老鼠，人人喊打。那个时候离开是黄金荣最好的选择，只是秉承着落地归根的心态，他留了下来，他一生却实是万恶不赦，但到最后他没有像杜月笙一样逃离香港，也没有像张啸林一样卖国求荣，他用他82岁的年龄在大街小巷默默的扫着大街，，，