扫地地躺倒在露天里。让人觉得残酷的是，不论天气如何，受刑人都必须在限期内经受折磨，于是受刑的人没有不奄奄一息，面无人色的。这一幕无疑也给小雪芹留下了深刻的印象。
从此曹雪芹的京外生活也随着家道的衰败而结束。他不得不随着父亲的犯罪，被迫逮问还京，还“享受”到了浩荡的皇恩，住进了新拨给的恩赏住房。在他随着家人进京的时候，他肯定是不会想到他竟然也要逝于斯。
曹雪芹的北京新居，坐落在外城的东偏方向，崇文门外直对的南面，有一个叫蒜市口的地方。在这里，绥赫德给曹家安排了一个小院子，属于北京最简单不过的“四合院”规格：正房五间，东西厢房各三间，南房三间，加上厨房、厕所或放置杂物的房间等，加起来正好是有十七间半房屋，可以称之为“单细胞四合院”，尽管在当时已经是低级的住宅，但仍然是一个独门独户的封闭式宅院。尽管当时的曹家已成了犯官，但是曹家毕竟是内务府的旗人，与汉人还是有区别的。然而他们却没有了在北京城内居住的权利。
当时的北京由内城外城组合而成。内城基本呈方形，是专由满洲旗家居住。外城在内城之南，以墙为界，呈长方形（东西长，南北短），由汉民居住。外城的房宅，与内城不尽相同，特点是比较狭小，十分拥挤，多为中下层人民聚居地，很少有像内城那样的大府巨邸。
小雪芹生活在这样的地方，对他后来的成长起到了决定性作用。因为他可以由于人为的因素而远离开皇室、满族贵官、八旗武士等等这种类型的人所带来的气氛，但是相应地他也就有了更多的机会与普通百姓和一些当时中下层社会的各式各样的人接触，看到形形色色职业的技艺。据说他居住的这个地方，对他日后萌发写作小说《红楼梦》有着密切的关系。
当曹雪芹随着父母亲来到北京蒜市口的一个小四合院里居住的时候，作为犯罪之家，当时父亲的命运，可以说吉凶未卜，行动自然大大地受到了控制。相应的小雪芹尽管也才五岁，可是他还小，无论他去何处都需要有家人的携带，而照顾他的人却又是受管制的人。所以生来就极其聪慧，由于家道的变迁而变得早熟的雪芹（用现代人的话来说他就是“神童”），用他对事物的高度的敏感性，去深刻地观察、认识、思索、体会一些人、物、事、境。由于时势的不公，他成为罪家的孩子，家境和世态，都在他心上烙下了难以磨灭的烙印。与他的同龄人相比，童年对他是一场恶梦。
在这样的环境之下，小雪芹已经七岁了。相应的也是雍正残酷统治的第八个年头，经过七年多皇室内的权利斗争之后，雍正最主要的劲敌与隐患都收拾得差不多了，于是雍正暂时放下高举了多年的“屠刀”。
所以在那一年，随着雍正政治风暴表演的接近尾声，曹家的命运也出现了转机：
事件一：二月下谕旨称凡雍正四年正月以前的亏空、侵蚀、追赔的各案件，要查明后“大沛恩膏”、“酌予宽免”了。
事件二：三月又降旨称凡因公错误应降革者，才具可用的予以职任，“片善寸长，亦不轻弃”。
事件三：对知道“感恩”的宗室，晋封爵位。
事件四：对于一些“犯人”的处治，颇见“宽大”，除本人减等不死外，特别是妻子为奴、家产入官等非人道的旧规，都有“恩免”之例。
这在当时来讲，可是非同小可的事情。因为这样一来，有多少人可以从九死一生的悲惨境遇中逃脱出来！
那么，这些皇恩，自然也照到曹家。曹家原是一户奴隶之家，曹父本人又无罪可言，前朝之事，也就可以“勾销”了。
就在这种环境下雪芹到了上学的年龄。关于他的聪慧，人们有这样的传闻：“四岁已毕《四书》、《五经》！”一般说来，一个学生要读完这些艰深的书，快的也需要读到二十来岁。四岁就读完，这是不可想象的奇事！这似乎有点夸张，但是至少有一点是应该相信的：少时的雪芹赋性颖慧异常，实是亲友尽传，远近咸闻的。这孩子确实具有过人的天才，他的祖母与母亲特别钟爱，把他视为生命一般。
曹家是年深已久的满俗化的家庭，其习俗是“满七汉三”的组成比例。按照清代满旗世家的规矩，小儿入学最早，督教极严。即便是贵如皇子，也是六岁就傅，无宽缓之例。正式入塾之先，还要从小就用小方块纸作课本，每一张纸上就写一个汉字，称为“字号”，聪明的孩子在家里通过这一番教育已能认得数百或一二千字。
那时的学校，形式不一。有条件的就自己设立私塾，请一位“专馆”的先生来教子弟；有的成立义学，供给族人亲戚们无力上私塾的孩子上学读书，不仅免费，还发给食用之钱；还有一些属于官府办的不同等次的学校，称为官学。此时的曹家根本就没有自己请师的能力，曹族中虽然办有义学，可是距离也很远，进后城西门内包衣人聚居之地，上官学，那更是不可能的事情了。于是曹家只好去“附学”：从曹家当时居住的蒜市口西行，越正阳门，进宣武门，往北走一小段路，来到驸马大街，那儿的平郡王府里住着小雪芹的大表兄福彭，王府有家塾，亲戚的孩子可以“附学”。
那时雪芹上学的情景是可以想象的：
在王府的二门外前院里，一个跨院十分幽静，小小三间正房，一明两暗。进了正门堂屋，朝北立着一面雕刻的木龛，内中供着一面牌位，上面大书“大成至圣先师孔子之位”。龛前有供案，陈设着古色古香的祭器。学童进来，先要向牌位恭敬行礼：双手抱拳，将身躬曲向下，手随身屈到腹膝，然后躬身进入里间，先生靠山墙设一大案，案上有书，有文房四宝，以及不可少的界尺。案后一大木坐榻，上设质地高雅而朴素的大靠背和极厚的大坐褥，老师可以舒适地端坐或倚靠，或盘膝或垂腿。那大坐榻很有点儿像皇帝的宝座那样的威严，学童一进屋，又要先向先生深深地一揖，然后悄无声响地找到自己的座位坐好。学生到齐，老师才开始讲课。
在这种条件下，使小雪芹受到了良好的文化教育，特别讨人喜欢的就是他见了人没有一般小孩子的怕羞、胆怯等表现，恰恰相反，他见了人礼数周详，举止优美，凡是见过他的人没有不称赞的。特别是他进了学房，仪容款段，竟然超过了王公家的子弟，于此老师已是另眼看待，等到他一开始功课，更是让老师叹为奇才了。
人们常常把那些聪明颖慧超众的人才用“一目十行”、“过目成诵”等词语来形容他们的过人之处。对于小雪芹确实是这样的，清代书本的款式，一般是每行十六七个大号的汉字，智力不高的，每日学二三行书，还记不住。但是对小雪芹确实是一目数行俱下，只念两遍，就能背诵如流了。同时令人可喜的是，他不但学得快，而且有极高的悟性——他能明白书中所讲的道理，得其精义，不是死背书。
逐渐地，私塾里的老师发现这个令人喜爱的学生并不仅仅是聪明过人，他也有同龄人的脾气，会淘气，但是他会思索，常常对一些事情发出疑问，使先生张口结舌，无以回答；有时还提出一些令人惊诧的怪话怪论，听起来十分的胆大妄为，使先生颇为为难，有时就只好以先生的威严来斥责他不守规矩，胡言乱语而对他的提问不了了之……。
小雪芹因为家境的关系，上学年龄比一般的满洲世家的孩子要晚。同时，在学里成日学的就是那些规定的四书五经，这些都是古代儒家的经典，教育做人和从政的道德规范，对成人来说也要有相当的阅世经历才能领会其中的奥妙，所以对小孩子来说该是一件既枯燥严厉、又很乏味很苦的事情。
因而对于聪颖而又“淘气”的小雪芹来说，终日死板的认字、背书是不能满足他的求知欲望的，很快自己就偷偷地转入了另一个新的阶段：即“杂学”的涉猎和追求。
所谓杂学，指的是在那时候，读那些《四书》、《五经》等经典文章，是为了作“八股”文章——一种法定的格式，专为科举考试而设的，比如，主考官在《四书》里割取一句话，就是文章题目，考生必须以“代圣贤立言”的口吻来发挥那题目的意义。文章按规矩分为八个段落，故被称为“八股”。在当时，除了这个算是正学以外，其他一切学问都被归到了杂学里面，自然身份也就不高了。
小雪芹最厌恶这种“八股”文章，这一点在他后来的小说里表现得十分清楚：把那些醉心于八股文的人，叫做“禄蠹”。他咏小说主人公贾宝玉，说他“愚顽怕读文章”，对于今天的读者来说，此处的“文章”二字，专指八股文，也叫做“举业”。
小雪芹天性不守正规，求知欲强，感情丰富敏锐，极需要的不是那种应考的东西，而是真正展露才华、抒写灵性的中国古代的诗文词赋，以及被士大夫轻贱的民间通俗文学：小说、剧本、弹唱典词等在中下层社会流行的文学形态，这在当时称为“闲书”。
幸好，当时的曹家由于政治地位的骤落，不得不摒居于外城，因此，使他得到了比内城、皇城里的孩子们多得多的接触“杂学”和“闲书”的机会。
尽管如此，在当时的环境下，小雪芹要想觅到“杂书”却是一个很大的困难。他的祖父一生的藏书，在抄家时已经被人弄走了——在上文列出的抄家的清单上，一字不言书籍的事，不知道是当时的制度就是规定不把书算作财产？或者是曹家提前得到消息，想办法交由亲友们保护收藏？不论如何，后来他家的一部分藏书出现在他祖姑丈傅（132）家中，但这也只能是后话，因为此时的小雪芹还没有到能读曹家藏书的阶段。
于是，由于小雪芹的居住条件决定了他一开始能读到的“杂学闲书”，自然就是流行当世，十分易得的小说和剧本（曲剧的唱词）。
在中国，长篇章回小说和元“杂剧”、明“传奇”（这些都是由极美的曲词构成的）剧本都是深受读者喜爱的，其流传之广，入人之深，可以说是要比什么官定的教育课本的威力都要强大得多。尽管正统士大夫非常鄙视这种作品，然而，从明代以来，情况却发生了重大变化：一是众多天才作家，由于科举的世界无从施展他们的才华和智慧，便把精力投入小说与剧本的写作，因此质量日益可观；二是从明代中期，出现了一派“批点家”，专给流行的头等小说剧本作出“批点”，刊刻行世。于是在这一行里，出现了一位名叫李贽（1527…1602）的人，人称李卓吾先生。正是这位李卓吾先生，成了曹雪芹真正的“启蒙老师”。在李之后，又出现另一位命运更冤更惨的大批点家——金圣叹，他也成了小雪芹的“启蒙老师”。
但是他们都是在小雪芹出生之前就已经不在人世了的，所以关于他们对曹的影响，待下文再提，因为他还有一位现实生活中的老师。
在现实生活中，十二三岁的曹雪芹从师谢济世，此人官居御史，人称谢御史。他被雪芹的表兄福彭敦聘到平郡王府去教导小世子庆明，因此，雪芹也就有了跟从谢老师，听他讲学的机会。从谢先生学，首先是接受