「床头黄金尽，壮士无颜色」，为了一日三餐每天逡巡于酒楼茶座跑马地，幸而遇见一位熟朋友，那怕是一元港纸借到手都很满足，因为又可以混过一天半日了。
下焉者错把香港当作了黄浦滩，低估了香港土著的深厚经济潜力，他们将投机取巧之风带到香港来，大家一道「炒金」，于是成天到晚卖出买进，做得十分之起劲，数量越做越大，危机越来越深，初期赚到两文的莫不忻然色喜，自以为得意，滚雪球般的炒得来「热大头昏」，最后是本地帮的商人觑准机会，狠狠交一掼，于是上海帮炒金客立陷惨败，有人倾家荡产有人被迫自杀，损失大多以巨万计，这一次炒金潮，终使上海朋友吃足了香港人的苦头。
有此几层缘故，当上海人逃难抵港之初，香港人冷眼旁观上海客花花绿绿的钞票满天飞，成千上百，尽情挥霍，当年的游乐场合，豪华餐馆，几乎尽是上海人的天下，然而曾几何时，香港人便「眼看他掼钞票，眼看他钱光了」，从青山酒店、观光旅馆搬进了亭子间、租铺位、困地板、扶梯的比比皆是，当他们阮囊羞涩，衣食无着，立可发现香港绝非上海，同乡人自顾不暇，本地广佬言语不通，素无交情，想借几角港纸到摊头上吃一碗饭，也是大难
因此，三十九年以后，上海人在香港便开始销声匿迹光景黯淡，囊无分文的在满街奔走，告贷求乞，手头还有几文的也无不缩小范围，樽节支出，守着最后的活命本钱，拖一天是一天。卽连二十余年来在黄浦滩上不作第二人想，声势显赫的杜月笙，也都在「坐吃山空」之际，渐渐意味到经济问题的严重，不时的愁眉不展，长吁短叹，共产党张牙舞爪，黄浦滩氷山已倒，杜月笙开始步入他一生中由绚烂而归于平淡的艰难困苦时期他在太息「香港居，大不易」。
不过，在香港的名流耆彦，太平绅士，如国民革命军前粤军总司令许崇智，和德高望重的周埈年等，仰慕杜月笙的为人，倾心结交，还都曾到坚尼地台杜公馆来登门拜访，杜月笙碍以抱病之躯，始终得不着机会回拜，但是这些香港的巨绅名流都能了解他身不由己的苦衷，丝毫不以为忤。不仅如此，杜月笙在香港倘有任何困难，他们每每挺身而出，为杜月笙奔走排解，解决问题，凡此情谊，俱使杜月笙份外感激。
杜月笙在香港曾经打破一项纪录，那便是他竟能使香港的大法官，屈驾到他坚尼地台家中来，而且还一直走到他的床面前，就把他的房间作为「法庭」，完成一次香港史上前所未有的「庭讯」。
香港法官杜家开庭
卧病香江的杜月笙，怎么会与人「对簿公庭」的呢？说起来这又是他帮朋友忙缠上的一场麻烦，有一位很有地位的朋友，由于簉室请求认领子女的纠纷，被对方告到香港法庭去。这一场官司于公于私都还很不容易了结，但是杜月笙受人之托，忠人之事，拿当时的情势来说，他是非得替那位朋友澈底解决不可，于是私底下他动用了不少人马，花费了很大的气力，好不容易勉强把事体摆平，而且居然做到刀切豆腐两面光，是为杜月笙在香港排难解纷，调停斡旋的杰作之一。
不过私底下虽则已经讲好，香港法庭的案子犹待审结，本来上法庭过一过堂不算是什么了不得的事情，问题在于杜月笙的朋友深心不愿公开露面，因为他一露面事体揭开杜月笙费尽心血得釜底抽薪一着等于白废，这一点其理甚明，无须详加解释
香港法律其硬如铁，当中决无变通的余地，状子递到法院非开庭不可，尴尬的场面绝对难以避免。这一个问题着实使杜月笙大伤脑筋，他的要好朋友，智囊师爷挖空心思，想尽了办法，钻香港法律的空隙，却是想来想去简直就无法钻得过。
终于有一位朋友由杜月笙的病，联想到他不容须臾分离的氧气罩，再由氧气罩联想到如果杜月笙必须以证人身份到庭作证的话，──最后他一声欢
「有了！」
他的办法很简单，设法使杜月笙成为本案的重要证人，他必须和原告、被告两造同时到庭。但在事实上杜月笙是无法到庭的。任何医生都可以为他开具证明书，使用氧气中的证人绝不可以移动。
办法是想得妙到毫颠，却是还有一个问题，证人无法出庭充其量祇能拖延时间，并不能使那位朋友到庭一事就此勾销
是杜月笙灵机一动，打开了这个不解之结，他想起了太平绅士周埈年，周埈年是香港官署普遍尊敬的人物，尤为英皇勅封的爵士。因此他说：
「我想请周爵士设个法看。」
派人去跟周埈年一商量，周埈年非常爽快，他一口答应代向香港法院请求
以周埈年的情面，加上杜月笙的名望，再有他所恃的有力理由，香港法院果然破格应允，请大法官移驾坚尼地台杜公馆开这一次庭天大的难题迎刃而解，坚尼地台那幢房子也留下了一段佳话。
上海旅港的金融巨子，工商大亨，在共党统战份子的不断威迫利诱下，意志薄弱者早已开始动摇，如王晓籁、刘鸿生、吴蕴初诸人，他们起先轮番游说杜月笙，私心盼望杜月笙带着他们向左转，收拾行装作北归之计，戴上中共拋出的「民族资本家」那顶孙悟空的「紧箍」，但是杜月笙屹然不为所动，反过来劝促他们不要受人拙蛊惑，自投罗网。这一个「劝来劝去」局面，曾经持续了相当长远的时间。
其中王晓籁头一个撑不下去熬不过，此公雅号「得天」，眞正是名符其实的「得天独厚」，他起先跟赤脚财神虞洽卿当绍兴师爷，后来被杜月笙套牢擒服，全靠杜门的力量，当到了上海市商会会长，王晓籁开过钱庄，但是往后倒光，他在上海混世界注定只能照别人家的牌头，于是先虞洽卿而后杜月笙，他一贴牢杜月笙便有「焦不离孟，孟不离焦」之势，三十八年逃难到香港，杜月笙始终病倒在床上，王晓籁的日子便相当难过。他姬妾多子女更多，乃有「多子王」之誉，外传他有子女一百，其实不过三十多个，然而有这三十余名子女，王家饭厅开起饭来就像学堂里的膳堂，食指浩繁，负担綦重，王晓籁在香港着实难以维持，香港蹲不下去他只好回上海，劝不动月笙哥同行「以壮声势」，他就自己一人向左转，开步走。王晓籁回上海的消息传到香港杜公馆，杜月笙深心惋惜，早先不晓得跟王晓籁说过了多少遍，投共产党决不会有好结果。
事实证明，果不其然，共产党统战份子在香港热烈劝促「民族资本家」王晓籁回上海，但当王晓籁一回黄浦滩，坦白、清算，交逼而来，就差不曾鬪争。王晓籁被共产党打得头昏脑胀，晕头转向，末后由共产党自家出来打圆场，王晓籁算是由他「投共立功」的学生子保证，留在上海戴罪立功吧。
和王晓籁情形截然相反，另两位由港投共的「民族资本家」刘鸿生与吴蕴初。刘、吴两人有身家财产、有庞大事业，他们是因为舍不得留在大陆的巨额资产冒险一试，想从虎口里保全自己的命脉，杜月笙不肯和他们一道投身虎脗，他们唯有黯然各奔「前程」。刘鸿生之重返大陆多一半还是试探性质，他参加中共筹组的「工业观光团」，「工业观光团」是中共的诱饵之一，因而该团保证进入大陆以后随时可以再出来，不过往后刘鸿生还是出不来了，因为中共认定他是一条大鱼。
劝促朋友投奔祖国
便在这许多朋友相继进入大陆的时候，杜月笙忧心忡忡，非常着急，他唯恐更多的金融巨子、工商大亨，会被共产党的笑脸攻势，钓饵政策，陆陆续续的钓回大陆去，朋友飞蛾扑火，自投网罟固不足惜，但是常此以往，必将减弱反共阵营的力量。杜月笙每每在谈话之间，流露出他内心的忧悒。
便在中共威胁利诱，无所不用其极，竭力争取旅港金融工商人士返回大陆的时期，杜月笙的两位好朋友，国民党中央执行委员洪兰友与吴开先，联名会衔请中央党部秘书长转呈最高当局一纸报告，报告中指陈共党统战份子多时以来竭力争取旅港沪上金融工商巨子，而这般人之中也曾有部份人士回过大陆，探看他们遗留下来的事业，有人一去不回，也有人铩羽而归，究其用心，回大陆决非投共，甚理甚明。因此，洪兰友和吴开先建议当轴似可允许这一批弃暗投明的金融工商界人回到台湾，以使他们的资金、实力、经验与抱负，纳入反共抗俄的阵营。
吴开先为这一桩大事还曾请谒最高当局，他面陈种切，获得了最高当局的指
「你们的建议是对的。」
最高当局尤且强调的说：
「祇要能够确定他们不是共产党，全都可以让他们来台湾。」
不久，吴开先回到香港，告拆杜月笙这个好消息，使杜月笙颇为振奋，自此见到朋友，便情词恳切的劝促他们赴台投奔祖国，有所効力，前后经杜月笙劝回台湾的工商人士，可谓络绎于途，为数极伙。
杜月笙长孙杜顺安的寄爹，吕光字晓光，外国留学生，法学博士，对于杜月笙的嗜好之一，听书也有兴趣，由于客居香港，闲来无事，便不时上坚尼地台杜公馆走走，成为杜月笙听说书的「座上客」。
吕光认识杜月笙很早，时在民国十七八年，杜月笙如日中天的黄金时代，因为「道不同不相与谋」，故所以始终祇是泛泛之交，他年纪比杜月笙小二十岁，又跟杜维藩是干亲家，照说他比杜月笙小一辈，他尊称杜月笙为「月老」，杜月笙则礼重吕光的学问好，是一位外国博士，他喊吕光的号，称「晓光兄」。
现任东吴大学法学院长、行政院政务顾问、国家计划委员，兼世界法学中心执行委员，望重一时的法学权威吕光，追忆他和杜月笙在民国三十九、四十年之交，交往密切、无话不谈的前尘往事，神情间犹仍不胜向往，他曾追忆的说：
「我和杜先生认识了一二十年，始终是一杯清水，不曾建立过任何关系，或者有进一步的交往，为什么杜先生要在病逝以前，前后约有一年光景，那么喜欢拉着我听他自己的『上下古今谈』，而且尽量告诉我他的往事，可以说赤裸裸的倾吐暴露，毫无保留？如今回想，祇能说这是一种缘份，不过呢，另有一层原因，那就是当时陆京士兄因公在台湾，假使京士兄是在香港的话，杜先生倾吐的对象，就一定是京士兄而不是我了。」
杜月笙旣已选定吕光当他倾吐往事的对象，说书先生张建亭、蒋月仙的「拿手杰作」，往往就会被杜月笙打断，而改由他自己「开篇」，对吕光这独一无二的听众，娓娓道来。说书先生被请出去时，杜月笙还怕吕光「半途而废，打断了兴致」，他会安慰吕光说：
「这种说书，呒啥听头，说书先生是永远说不完的，说完了他们就没有饭吃。」
现在方始懂得了爱
杜月笙跟吕光谈他初出茅庐时的挣扎求生，奋鬪经历，以及他如何从找饭吃，熬到闯天下，打江山，然后更进一步在为国家社会尽量多做点事情。他从个人琐事，谈到家庭生活，长江大河，一泻千里，天南地北，无所不至，对于自身的任何秘密，概不保留，譬如，曾有一次，杜月笙突如其来的说了一句
「有一桩事体，跟你们留学生来讲，实在是笑话。」
吕光照例暂不置答，静候杜月笙的下文。果然，顿一顿，他便自己接下去说了：
「我活了六十多年，对于男女之间的事体，向来祇晓得一个『欢喜』，根本不懂什么叫做爱。现在我说出来你不要笑我，直到抗战胜利的这几年里，我才懂得『爱』跟『欢喜』之间，距离是很大的哩。」
吕光当然不会笑他，祇不过，他颇有惊奇之感。
谈到杜月笙自己的婚姻生活，他坦然的说：
「我前后讨了五个老婆，我讨进来的，当然都是我欢喜的人，我待她们，一律平等，个个我都跟她们结了婚，所以我绝对不准有什么大老婆、小老婆之分，五个老婆大家统统一样！」
谈得兴起，杜见笙会主动提出问题，他曾笑吟吟的问吕光：
「你晓得我为啥一径着长衫？」
问题原是一段叙途的引子，所以，吕光通常都是笑而不答。
「长衫袖子长啊！」一掳可以覆盖指尖的长袖，杜月笙把袖子卷起来，秘密出现，原来，他身上的「刺青」不止传说中的一只船锚，事实上，各色各样的花色多得很。杜月笙一辈子从不穿短装见人，除了礼貌关系，他还在利用覆手的袖子，遮盖他少年时代「豪情胜概」留下来的「烙痕」。
「上下古今谈」，常年持续不断，原则上，杜月笙祇讲给吕光一个人听，但是渐渐的，杜公馆上下人等，都知道吕先生一来，房门一关，杜月笙的房间里便有这样一个精采的节目在进行。为好奇心吸引，当然也会有人「听壁角」，于是杜月笙「倾吐」的内容，就不止吕光一个人晓得。
谈得久了，谈得多了，杜月笙为了省气力，表示「心照」，往往谈一件事，不作结论，不说结局，他会向吕光一笑，问一句
「你明白了吧？」
「你晓得了吧？」
或者是─
「你是聪明人，就用不着我再说了。」
每逢这个时候，「听壁角」者方始不知其所云然。
偶或，也涉及题外之谈，向吕光请教请教法律问题、西洋礼俗，吕光发现，杜月笙极其好学，非常留意一切琐事，他从不放过「打破砂锅问到底」的机会，但是，他对于新知也并不一定毫不保留的全盘接受，譬如，曾有一次他问
「外国规矩，女太太跑进来，男人家阿是统统都要立起来？」
「在外国，不但是女太太进门在座的男子都要立起来，」吕光据实而答：「卽使进来的是小辈，一样也要立起来的。」
讵料，杜月笙听后，立刻便摇摇头说：
「我看这小辈么就省省了吧。」
他的意思是，做长辈的对自己小辈起立迎候，未免有悖中国礼制，像这种「外国规矩」，不学也罢。
由「相交甚浅」，而「相知甚深」，杜月笙便不把吕光当作外人看待，他怀着「自家人」的心情，出之以「亲近」的态度，也曾委托吕光替他传话、办事，而且很有几件事情办得头头是道，顺利解决，使杜月笙大为开心。与此同时，则吕光替杜月笙办的事情越多，越发增进他内心中对杜月笙的钦敬。
照吕光的看法，杜月笙自民国三十八年五月离开上海，他个人的事业、财富、健康，齐同一致的在由灿烂归于平淡，但是吕光认为，一个人在日趋平淡的时候，益能看出他这个人的「味道」，因为灿烂时期祇见「锦上添花」，平淡时方可觉其「雪中送炭」，吕光深切感觉杜月笙在平淡时的伟大，三十九、四十年间，杜月笙在经济上已不能如其往年时的运用自如，叱咤可办，甚至于连他自己都始终想不出如何开源的办法，杜月笙的久病不愈，终至不起，「坐吃山空」所加诸于他的压迫感，可能有很大的影响。杜月笙死后，遗有四妻、八子、三女、十三个孙儿，倘若不是预存于宋子良处十万美金，眞不知如何应付遗属的生活问题。
吕光成为聊天对象
然而，卽令在这种自顾不暇的情况下，杜月笙的慷慨尚义，一如襄昔，他照旧好客，坚尼地台杜公馆，虽然不再能有「春申门下三千客、小杜城南尺五天」的漪欤盛况，但是，至亲好友，谁都忘不了隔几日到杜公馆走一遭，纵使主人家卧病在床，不克亲迓，客人们一样来去自如，了无拘束。杜月笙好客兼好热闹，他睡在病床上，听到外面客厅「座上客常满，杯中酒不空」，欢声阵阵，笑语殷殷，