刘裕的身体素质是属于倍儿棒的那种，再加上常年累月的渔耕樵编，使他在十八岁的时候就已经长成身高七尺有余的大汉。劳动的锻炼，不仅让他的体格变得健壮，还使他练就了一副特别能欠揍的肌肉。
勤奋的刘裕很快就实现了他的梦想，在乡邻的撮合下，他娶了同乡的臧爱亲为妻，臧爱亲祖籍山东沂水，祖父臧汪曾任尚书郎，而父亲臧隽同样只是一名郡功曹。竹门对竹门，木门对木门，这桩婚事还是缔结得门当户对的。
婚后的刘裕生活更加艰难，抚养两个弟弟已经不容易，现在家里又多了一张嘴巴，以后或许还会多一张小嘴巴，这就让他不得不更要为一家人的衣食操劳。按照一般的逻辑是他应该每天早上五点钟起床，先编好几十双草鞋，接着再去山上打一捆柴，忙完后天就亮了，于是把草鞋和柴挑到集市上去卖，十二点下班，吃完午饭后再去田里劳作，直到晚上八点太阳下山，再扛着锄头回家。每天工作十四五个小时。
但要命的是，刘裕偏偏没有这样做，而是天天往镇上跑，因为他——迷上了赌。在刘裕看来，赌来钱可比耕田打柴快多了，那些农活忙了半天都挣不到几个钱，而在赌桌上，一局下来，一分钟都不到，就可以使他赢回一家几天甚至一月的口粮。
那时候流行的赌博叫樗蒲，类似于现在的掷骰子。通常来讲，赌博这种游戏，只要迷上了，就很难停得下来。偏偏刘裕手气好，胜多负少，这就使他越赌越上瘾。
刘裕越赌越大，越赌越狠，赌得最狠的一次，是和豪强刁逵对赌。刁逵是京口一霸，在当地是出了名的一个游手好闲的主，从小就是在骰子堆里混过来的，赌术极精，刘裕哪是他的对手，不仅输了个底朝天，而且还欠下别人三万社钱（相当于现在的人民币一万元）。刘裕还不起钱，一来理亏，二来像刁逵这种有钱有势的人也惹不起，于是只好自认倒霉。
刁逵带领家奴将刘裕捉住，绑在树上，让家奴用鞭抽。而刘裕也算是条汉子，既不出声，也不求饶。闭眼受鞭，是死是活，听天由命。
也算刘裕运气好，正赶上刁逵的朋友，当时担任骠骑将军府长史的王谧来访，看见刘裕受难。王谧见刘裕面目不俗，体格魁伟，有英雄之气，忙喝令住手，并问何故打人。刁逵怒气未消，把缘由告诉了王谧，王谧笑道：“三万钱，何足以一命相抵。”
王谧是东晋名相王导的孙子，江东士族之首，家世富贵，三万钱顶多够他吃几顿饭的，王谧便替刘裕还了债。其后凝视刘裕许久，叹道：“卿虽未显贵，久必为一代英雄，望自保重！”
出身贫寒的人多有一种特性，就是恩怨分明，无论是善待他的还是虐待他的，他都会刻骨铭心的记上一辈子，刘裕也不例外。等到刘裕发迹之后，不计王谧投靠桓玄之罪，重待王谧，得以善终。王谧诸子入宋后也深为刘宋皇族厚待，算是刘裕报了当初还债的恩情。至于同样是投靠桓玄作恶的刁逵则没有王谧的好运气，后来事败被杀，刁氏子孙尽被诛夷，刁家的产业全被刘裕送了人情，散发给穷苦百姓。
宁死不屈，不能不说是一个硬汉，但恩怨必究，却未免有点小家子气。如果他能学得韩信不记胯下之辱，石勒不记被殴之痛，将使他的形象更加光辉隽永，当然这是后话，暂且略过不提。
刘裕家小业薄，加上又好赌成性，在周遭邻居中的名声很臭。但他在赌桌上却遇上了两个臭味相投的知己，一个叫刘毅，另一个叫何无忌，这两个人，一个将成为他终身的盟友，而一个却将成为阻碍他称帝的最大绊脚石。
赌，从来就不被认为是一种好的品性。但对刘裕来说，在赌桌上养成的赌徒性格却使他终身受益无穷。我没有钱，但我可以一掷数万，输了不要紧，贱命一条，你想要，那就拿去。而一旦我赢了，我就可以翻身，并且将你踩在脚下，再尽情地羞辱你。
家产输光了，邻里看我不顺眼，我编的草鞋也没人买，这个日子该怎么过？正在刘裕为生计发愁时，慷慨的老天爷却给了他另一次机会。
