段时间没有得到擢升，直到当他转战南欧各国时，在那不勒斯王国俘获了当地的起义农民领袖，这才重新官运亨通，被提升为科西嘉皇家军团上校。约瑟夫·波拿马还委任他为亚维利诺省的总督；后来又晋升为将军。
新婚蜜月的生活是令人心醉的。他们很快就有了第一、第二和第三个孩子。不过，日复一日地单调的生活和时时的四目相对，仿佛将时间无限地拉长了，但同时也将双方因婚姻结合而消弥的距离重新拉开了。渐渐地，索菲对丈夫那无休无止的情欲开始厌倦起来。烦琐的家庭生活最能毁灭一切。它能将新鲜的思想和甜蜜的爱情变得枯涩和乏味，它也能侵蚀人的神经和意志。浪漫的情调和激动的情感早就被岁月冲淡了，而不同的政治观点和信仰开始产生毒化夫妻感情和家庭气氛的作用。
他们经常进行辩论。索菲强烈谴责战争，她忘不了姑娘时代所见到的战争的恐怖情景；习惯于童年宁静温馨的乡村生活的她热诚地向往和平和真正的自由。酉吉斯贝尔则总是热烈地为自己的使命而辩护。索菲受不了她所厌恶的军旅生活，她终于带着孩子移居巴黎。独身的军官又回复了原来的本性，西吉斯贝尔的身边总是伴随着一个美丽的科西嘉姑娘。而索菲也同丈夫的上司拉奥里将军成了亲密的朋友——志同道合的朋友。
庭院中的乐趣
索菲同丈夫分居后，她带着三个孩子在巴黎找到一座古旧的楼房租下，并定居下来。这座楼房坐落在一条偏僻的街道上，它原是斐扬底纳修道院的旧址，后来成了私人的资产。楼房四周为茂密的灌木丛林所环绕，在这灌木丛中，活跃着无数的小生命，蕴藏着无限的生机，它也为童年雨果带来了无穷的乐趣。
雨果后来曾在他的小说中描述过这个花园式的灌木林：
一棵棵大树弯垂，一丛丛灌木昂伸。杂蔓攀爬，乱枝纷披；遍地丛生的植物和悬空盛开的繁花相迎交织……这座花园已不象个花园了，似乎变成了一片庞大的灌木丛，象树林般密不透风，象闹市般人烟稠密，象鸟巢般唯恐惊扰，象教堂般幽暗肃穆，象鲜花般馥郁芳香，象陵园般孤寂僻静，又象一个群体充满生机……
那时阿贝尔已经上了中学，雨果跟着他的二哥欧仁在一所私人学校学习。课余时间，他们便跑进丛林中躲迷藏，做游戏；或者在地上一蹲就是几个小时，观察蚂蚁搬家、打仗，要不就是自个同昆虫开起战来。玩时自然兴奋得要命，但事后付出的代价也不轻。雨果身上常常披红挂彩：不是头上撞起个拳头大的包，就是身上被蚊虫咬起一片片的红；要不就是从树上溜下来时擦破了皮，或者被荆棘挂破了衣衫。每次回到家中，哥俩总是怀着惴惴不安的心情。不过还好，母亲并没有过多地埋怨他们，更没有受到体罚。
因此，雨果身上留下的那些一直保留终身的疤痕，都是调皮的童年生活刻下的印记。他的手指上有一处伤痕，那是他抚弄小狗时，那只不知好歹的小宠物给他的永久纪念。他的膝盖上也有一处疤痕，那是他和同学游戏时受伤的产物。最引人注目的是他额上的小疤。不过，这并不是在巴黎住宅的花园中留下的，那是他小小年纪随军生涯的永恒纪念。那次，母亲带着他们哥仨随军队迁移，前往父亲的驻防地途中，他们在西班牙的萨达拉斯露宿了一晚。孩子们一到晚上就格外兴奋，更何况还让他们露天住宿。他们在碎瓦残壁中捉起迷藏来。雨果年龄最小，但却很机灵。他在石堆中爬上爬下，哥哥们老是抓不着他；他高兴得忘乎所以，情急中跳上了一块不稳的石头，结果连人带石滚了下来，失去知觉。待他被哥哥们抱回家里时，已经满头是血。母亲着急得要死，赶忙找来外科军医。幸而第二天伤口就愈合了，但那条小疤痕却留了下来。
母亲随军的生活以及她同丈夫分居后移住巴黎的日子并不是畅心如意的，但小雨果似乎却并没有这种童年不幸的阴影。庭院的时光，动荡的生活，似乎只是为孩子好奇爱玩的天性增加了更多的乐趣，让他接触到更广大的世界。童年的一切，在小雨果的脑海中留下了极深的印象，同时也为他日后的创作提供了丰富的资源。“小大人”
雨果四岁多就开始挟着书包尾随着哥哥上学了。他学过拉丁语和希腊语的课程，八岁时就能流利地阅读和翻译贺拉斯的文章。他和欧仁还在马德里的学校读过书。十二岁时，他进了巴黎圣玛格丽特街的戈蒂埃和德高特寄宿学校学习哲学和数学。
他喜爱学习，嗜好读书，经常捧起一本书好几个小时舍不得放下。他对文学尤其感兴趣：十二、三岁时，他就尝试着写下了成千上万行诗，还写了一部喜歌剧、一部散文剧、一部史诗和一部五幕诗体悲剧的剧情梗概。他勤奋好学，经常到了废寝忘餐的地步。
雨果十二岁时，他的母亲和父亲正式分居了。两人的矛盾终于走到了不可调和的地步：他们两人本来性格就不相融洽，政治信仰各异；而且彼此感情早已疏远淡漠，各自有了自己的情人。索菲不能容忍另一个女人趁她不在时取代她的位置，而雨果将军亦无法忍受自己的女人接受另一个男人——尤其这个男人是自己的顶头上司——的接济。约瑟夫国王曾几度从中调解斡旋，但终于不能阻止他们之间关系的恶性发展。
1814年9月，雨果将军亲自去巴黎，利用做父亲的权利把两个小儿子送到科第埃和德科特的寄宿中学。这所学校坐落在“黑暗阴森的圣玛格丽达大街的僻静小巷，紧夹在修道院监狱和德拉古市场的高墙之间”。为了不让孩子受到他们的母亲的影响，他委托他的姐姐照管欧仁和维克多。但孩子们是不会忘记母亲的。他们痛恨姑母，指责父亲。家庭的不幸使维克多过早地结束了童年的生活。他后来在一首诗中写道：
父亲让我受的是什么样的罪！
童年突然结束了……我召唤过去，回答我的只是一片静寂。
为了摆脱我的痛苦我无路可走，只有梦想，跑进森林和相信奇迹……
母亲对维克多·雨果的影响是巨大的，母子分离的生活也无法抹掉母亲的身影。维克多生活十分简朴，这是他从母亲那里继承的良好习惯。他经常自己打扫楼梯，整理房间。每天早上，他夹着书本走出住宅，到街对角的小店铺里买几个子儿的牛排，然后一边吃着，一边去上学。他将这种简朴的习惯一直保持下来。但母亲对儿子的更大影响却是政治上的。青年时代的雨果是一个保皇主义者，这与他母亲的政治倾向相接近。
不少文学家都有早熟早恋的倾向，这或许与他们天生异质，感情格外丰富复杂有关。但这也可能是人类的一种普遍现象，不过常人没有胆量和机会宣诸于文字，而文学艺术家们更富胆识和激情罢了。不过，对维克多来说，多少有些遗传的因素。他那几乎保持终生的旺盛的情欲似乎得益于他的父亲。据雨果后来在自己的诗中回忆，他在八岁时就曾爱上了一个十六岁的姑娘，那是蒙代·欧莫索伯爵的女儿，约瑟夫国王的情妇——荷比达。九岁时，母亲带着他和两个哥哥去探视父亲，在巴伊沃纳等待运输队的那一个月里，他又被房东太太的十岁女儿弄得心醉神迷。那小女孩给他念故事，但他却心不在焉，总是盯着女孩的脸庞，被她的呼吸弄得耳红心跳。
雨果后来谈起与那个房东小女孩的往事时，将它称作心的第一声，爱的晨鸡初唱。他说，每个人在他已往的生命里都能寻出这样的孩童恋爱，这种恋爱之于成年的爱就等于曙光之于太阳。三十三年后，当他故地重游时，他特地去拜访了那曾给了他美好回忆的宅园。门庭依旧，但昔日桃花却已不见芳踪。
教父拉奥里
在巴黎居住的日子里，有一天，母亲突然领进来一个陌生人。他已过中年，身材高大，两眼炯炯有神。母亲告诉维克多，这就是他的教父拉奥里。
拉奥里从此就在他家里住了下来。当然，他并没有住在小楼里，而住在花园深处的一个小祈祷堂里。拉奥里时常跟维克多兄弟一起玩游戏，并帮助他们复习功课。他给小兄弟们念维吉尔的长诗，讲述各种各样的故事。他博学多才，知识渊博，维克多完全被他迷住了。
维克多不仅从教父那里了解历史、战争和远古时代的传说，更重要的是关于“自由”的观念和对法国当政者“谋权篡位的波拿巴”的仇恨。
维克多很久以后才知道，居住在他家里的教父，原来是被警察局通缉的政治流亡犯。几年前，他因参与反对拿破仑的密谋活动而被判处死刑。多年来，他一直东躲西藏，现在，住在情人索菲的住宅里，他才感到些许的慰籍并领略到家庭的温暖。
有一天，拉奥里兴高采烈地回到家中，一下子就将小维克多抱起来，高高地抛到空中。他兴奋地告诉雨果的母亲，流亡的日子就要结束了。他偷偷去见过法国警察总监沙瓦利，后者亲口对他说，不用再避难了，时间已经过去这么久，皇帝早已消了怒气；并且，拿破仑此时已征服了大半个欧洲，达到事业和声名的顶峰，眼前正忙着筹备与奥地利公主的婚礼，他理当赦免过去的政敌。
那天晚餐格外丰盛，教父和母亲都非常高兴。拉奥里在席间给孩子们讲起了笑话。这时，门铃叩响了。几个穿便衣的人走了进来。
为首的彬彬有礼地问道：“您是拉奥里将军么？”
教父一脸愕然，默默地点了点头。“对不起，将军阁下。”那人说道，“奉皇帝陛下的命令，您被捕了。”
那次事件以后，母亲沉默了很多。她出门的时候也变得异乎寻常地多了起来。原来，她在同朋友们秘密商量营救拉奥多出狱的事情。
拉奥里在狱中与反对拿破仑的军官们取得了联系。他们用谎言骗过了典狱长，声称拿破仑已死，将拉奥里放了出来。但很快事情败露，肇事者全都被抓了起来。
索菲四处奔波，打探消息。她来到朋友富谢的公寓，审讯造反军官的军事法庭就设在那座大楼的会议大厅里。据说法庭主席要求谋反者说出他们的同谋时，其中一人回答说：“是整个法兰西，先生。如果我们成功了，你们也是……”索菲听说后非常激动，她连连重复着说：“对，对，说得好！是整个法兰西！”半夜两点钟，一直守侯在富谢公寓的索菲终于从富谢先生那里得到了消息：参加叛乱的军官们全部被判处死刑，凌晨四点在格莱涅尔峡谷执行。她悄悄地来到死囚刑车必经的街道口，并尾随在刑车的后面，将拉奥多一直送到公墓。
第二天，她把维克多带到大街上，在一张布告面前停下来。她指着上面的一张头像，神情凝重地对小儿子说：“记住他，孩子，这是你的教父。”
维克多·雨果将这一幕情景深深地记在脑海里，连同那个令人难忘的教父。
时代的歌手
勤奋的模仿者
孩子总是模仿着大人的样子，他们在模仿中日渐成熟长大。雨果不仅在模仿大人的思维和生活方式，同时也在模仿着文学创作。与一般模仿者不同的是，他不只对文学有着异乎寻�