对于这段生活，卢梭后来回忆说：“所有温柔、亲切、平和的感情，构成了这个生活方式的基调。”不过有一件让小卢梭蒙冤的事把这种基调给破坏了。有一天，卢梭正在厨房隔壁的一间屋子里独自读书，女仆把朗拜尔西埃小姐的几把梳子放在沙石板上烤干。在她来取的时候，发现一把梳子有一边的齿儿都断了。因为当时就卢梭一个人在那里，她就质问卢梭，而卢梭否认动过那把梳子。朗拜尔西埃先生和朗拜尔西埃小姐一起来训诫卢梭，逼问他，甚至还恫吓他。卢梭始终坚决否认。然而，一切抗议都没有用，他们认定是卢梭弄坏的，应该受罚。可是这回却不是朗拜尔西埃小姐动手来惩罚了，他们给舅父贝纳尔写了信，舅父来了，恰巧这时卢梭的表兄也被加上另一种同样严重的罪名，于是俩人都受到了极其严厉的惩罚。但是他们却没能从卢梭的口中得到他们所希望的口供。以后他们又逼问了好几次，弄得卢梭宁可去死，也丝毫不动摇。结果，暴力面对一个孩子的“魔鬼般的倔强”（他们对卢梭不屈不挠找不出别的字眼来形容）让步了。一向腼腆、温顺，甚至有点怯懦的卢梭，这次却变得那样怒不可遏，变得那样高傲而不可驯服。因为他过去一直生活在温柔、公正、亲切的气氛中，在他的心里连不公正这个概念都没有，可是现在恰恰受到了他所爱和所尊敬的人们的第一次不公正的磨难，心灵上受到的创伤是可想而知的。此时，他所感受到的只有委屈、气愤和失望：一个并不是他犯的过错，竟给以如此严厉的惩罚，实在太残酷了。他的表兄的情况也跟他差不多，他们把一件无心的过错当作蓄谋已久的行为来处罚他，结果也因冤屈而激怒了。两个孩子倒在了一张床上，互相拥抱在一起，甚至喘不过气来，不住地颤抖。等到俩人稍微平静了一些后，又一起直挺挺地坐在床上，一起用尽了全身的气力，不停地喊：“刽子手！刽子手！刽子手！”以此发泄内心的怒火。第一次受到这样不公正对待的卢梭，反映如此强烈，由此可见他天性中感情激烈的一面，这一面在他后来的生活和斗争中表现得更加充分。
这个不幸的事件发生后，卢梭那自由自在无忧无虑的欢畅童年似乎到此结束了。虽然他们又在包塞住了几个月，但已全没有了以前那种欢乐。表面的环境虽然没有变，实际生活完全不同了。田园生活在他们眼里已经失去了令人感到惬意的淳朴和宁静，学生对于他们的教导者再也没有那种热爱、尊敬、亲密和信赖的关系了。他们做了坏事不像从前那样感到羞愧，而是比以前更加害怕被人告发，他们开始隐瞒、反驳、说谎。在他们那个年龄所有的种种邪恶，腐蚀了他们的天真，丑化了他们的游戏，使他们讨厌了这种生活，而人家也讨厌了他们。舅舅只好把他们接回去了。从此和朗拜尔西埃兄妹俩分了手，彼此都觉得腻烦，也没有什么惜别之感。
回到日内瓦舅舅家以后，卢梭等待着家人对他前途的安排。舅父希望儿子当工程师，卢梭便和表兄一起听舅舅讲制图学和欧几里得的《几何学原理》。卢梭对此产生了兴趣，特别是制图学。然而家里人却商量着让卢梭做钟表匠、律师或牧师。由于卢梭年龄还不急于选择职业，而他母亲的遗产分到他头上的那份又不够供他继续读书，卢梭只好在舅父家里闲住下来。舅父舅母平时都忙于自己的事情，无暇顾及他和表兄。他俩就仿佛重新获得自由一样，想出各种游戏来尽情玩耍。但是他们从不滥交朋友，也不跟那些和他们年龄相仿的顽童们厮混，所以没有沾染上由于终日无所事事而养成的那种浪荡逍遥的习气。他俩整天在一起，由于表兄又高又瘦，卢梭则长得很矮，走在街上时，形成鲜明的对照，因此特别引人注意。街上的小孩子们觉得很可笑，齐声喊叫表兄的绰号“笨驴！笨驴！”，表兄倒是无动于衷，而卢梭却火冒三丈，便跟那些孩子们打起来。但由于单薄力小，尽管表兄帮助也不是那帮孩子的对手，他俩都挨了揍。虽然受了皮肉之苦，卢梭认为自己是为正义和友情而战，并不算真正的失败。从此以后，他们只好在那些孩子上学时，才敢出门。
这时候，卢梭经常到尼翁去看父亲（他父亲已在那里定居了）。由于他父亲人缘很好，卢梭到那里居住时，人们对他都十分亲切。有一位菲尔松太太对卢梭格外疼爱，她22岁的女儿还把11岁的小卢梭看作她的情人。人们都明白这是怎么回事。当地所有这种非常机灵的姑娘们都乐意把小洋娃娃摆在前面，而把大洋娃娃掩蔽起来，以此来诱惑那些大洋娃娃。卢梭认为他和德·菲尔松小姐没有什么不相称的地方，因此是很认真的，爱她爱到发狂的程度。当然，他只是在他那小脑袋里爱她而已。与此同时，卢梭还爱着一个和他相仿年纪的小姑娘戈登小姐。说是爱，其实就是几次时间不长，但很热烈的幽会。戈登小姐长得并不美，但她的脸庞却令人难忘。她的身段、她的姿态，特别是她那双眼睛与她那小小的年龄很不相称。她那种大胆与端庄混合在一起的时候，是令人难以了解的。在卢梭面前，她总是肆无忌惮，而卢梭对她却丝毫不能随便。她似乎是一个大人，而卢梭是一个小孩，她对卢梭可以为所欲为，而卢梭对她却只能规规矩矩。
对于这两个情人，卢梭都是用心去爱着的。但他觉得，这两个情人又太不相同了。德·菲尔松小姐对人体贴、温柔，卢梭想永远不离开她就好了。但是，当他接近她的时候，他的心情便又平静下来。相反，和很多人在一起时，他们俩说说笑笑，打情骂俏，会使他兴奋异常；越是在人多时，他越是对她爱得发狂。而卢梭一看到戈登小姐，便总是忐忑不安，心跳加重，甚至觉得，如果长时间跟她在一起，命都会送掉。不久，戈登小姐把他们之间的秘密泄露了出去，便分开了。卢梭和德·菲尔松小姐的交往也由于菲尔松小姐的结婚而结束了。卢梭到了13岁那年，家人经过再三考虑，最终却给他选择了一个最不称心的职业——把他送到本城法院书记官马斯隆那里，在他手下学习“承揽诉讼人”的行当。依照舅舅的说法，那是一个很有用的职业，但卢梭讨厌透了。他不想用卑鄙的手段去发财，干这种行业，枯燥无味，加上工作时间又长，整天像奴才一样听人驱使，还有琐碎的杂务使他头昏目眩，一种厌恶的心情日甚一日。马斯隆先生也很不满意卢梭，对他抱着轻蔑的态度，经常骂他懒惰，蠢笨，像一头驴。那里的办事员们也说他除了使用钟表匠的锉刀以外，什么也不会。不久卢梭就被赶出了那家事务所。
卢梭自己的天资经过这样的评定后，只好去当学徒了。几个月后他找了一份使用锉刀的工作，在雕刻家杜康曼手下学做一个零件镂刻师。按说卢梭并不讨厌这门手艺，因为他喜欢绘画，挥动刻刀也觉得挺有趣，而且镂刻零件也不是什么高超的技术，他希望在这方面做出成就。但是，他的傲气已被书记官的轻蔑所吞没，现在的师傅，又是一个蛮横无礼、脾气粗暴而又十分苛刻的年轻人，在很短的时间里，就把卢梭儿童时代的天真活泼、温柔多情的性格全都磨光了，使他的梦想很快破灭，使他不但在实际生活上，而且在精神面貌上变成了一个真正的学徒。过去所学的拉丁文和罗马史全被抛在了脑后，自卑得再也不好意思见到朗拜尔西埃兄妹了。他深感在杜康曼那里所学到的尽是最低级的趣味和最下流的习惯。有一次，他背着师傅在工作时间镂刻了一些骑士勋章，供自己和伙伴们佩带之用，上面刻有共和国国徽。杜康曼师傅发现后，说他在练习制造伪币，把他痛打了一顿。师傅的暴虐专横，使卢梭本来喜爱的工作感到苦不堪言，并使他染上了一些恶习，诸如撒谎、怠惰、偷窃等。他变得胆小如鼠，连别人争论他最熟悉的事情也不敢插嘴。吃饭时，他往往只吃到三分之一的时候就得离开饭桌去干活。在那里，卢梭一天忙到晚，别人有玩有乐，而他什么也享受不着；在那里，主人及其狐朋狗友的逍遥放荡越发使他感到受人奴役的重压；在那里，他眼睛看见什么，心里就羡慕什么。为什么？只是因为被剥夺了一切。就这样，卢梭学会了贪婪、隐瞒、作假、撒谎，最后，还学会了偷东西。卢梭开始偷东西是同伴引诱帮人家偷，然后就自己单独偷，由偷一两个苹果之类的食物，发展到偷别的东西。因此屡屡受到打骂、惩罚。他也就以偷师傅的东西作为一种报复。在这种恶性循环中，也许由于天性善良和不爱钱财的缘故，卢梭并未发展成职业小偷，他甚至很快就觉得腻味了。正如卢梭后来自己所说：“我好食而不贪，好色而不淫；由于别的欲念太多，这两种欲望就被冲淡了。”
在一切都感到厌倦的时候，卢梭又想到要从书本中寻找新的天地，他恢复了放弃已久的读书习惯。他经常一连几个小时沉醉在书里，在干活的案子上读，出去办事时读，蹲在厕所里读，读得头晕脑胀，别的什么事都干不下去了，所以让师傅捉住就打他，并抢走了他的书。有多少次他的书被撕毁，被焚烧，被扔到窗户外边去，但他仍不“改悔”。他经常到附近的一家书店里租书看，没钱的时候，就把自己的衬衫、领带给那位租书商。每星期日他都把师傅付给他的零花钱给书商送去。就这样，不到一年的工夫，卢梭就把那家书店里的书全读光了。
大量的读书，常以沉思默想书中曾使人感兴趣的环境来自娱，从而使他养成了爱好孤独的性格。这是因为他这颗心找不到和它相似的心，才不得不耽于幻想。
以书自娱代替不了生活中的欢乐。耽于幻想，心中又茫然不安，这样的生活到他16岁时戛然而止。原因是由于每到星期天，卢梭和他的伙伴们相约一同到城外去玩。他只是在这个时候才能暂时忘掉种种烦恼，而在高兴的时候又常常忘记回城的时间。先后有两次被关在城外过夜，而受到师傅的严厉处罚。第二次师傅警告他说，如果下次再犯，一定加倍处罚。因此卢梭下定决心不再犯第三次。但可怕的第三次仍然落到了他的头上。那天，卢梭和两个伙伴一同回城，离城还有半里，已经听见预备关城门的号声响了。卢梭就拼命往前跑，两步并作一步，跑得满头大汗，连气都喘不过来，还上气不接下气地呼喊。谁知那个该死的守城卫兵却提前关了城门。他离桥只有20步远了，眼看着吊桥已经吊了起来。他万分悲痛地倒在了斜坡上，嘴啃着地。两个伙伴决定在野外过夜，而卢梭则决定不再回到师傅那里去了。第二天，卢梭托他们把离城出走的决定偷偷告诉他的表兄，约表兄出城见最后一面，然后就踏上了吉凶未卜的谋生之路，开始了历时13年的流浪生活。
