自从这次“抓周宴”以后，老吏和他肖夫人就有开始商量着要不要把肖墨竹送回老家，因为他们感觉肖墨竹暴露了，不宜再逗留了，也确实街上有闲言碎语说肖墨竹不是肖夫人亲生的。夫妇俩最害怕的是人家问起来肖墨竹的身世。也害怕肖墨竹会再次陷入危险，如果被当朝的那皇帝、那些大官知道这些，会不会对肖墨竹赶尽杀绝。肖墨竹这也是一条命。他们不知道藏还能藏多久，也不知道还能陪伴他多久。最后他们决定等度过危险期再将肖墨竹送回老家。
在不安定的日子里，肖夫人尽量减少带肖墨竹外出，肖墨竹就像被锁在笼中的小鸟，除了老吏和肖夫人，还有家中偶尔来的熟人朋友，他没见过其他人，别说街坊邻居，连狗猫这些动物都没见过。有时他会跑去看看鸡或者鸭或者鹅说，一起咿呀咿呀。虽然它们互相听不懂彼此。
直到肖墨竹长到三岁，三岁正是一个孩子的重要发展时期，也是一个小孩子好玩的时候，肖家夫妇意识到再把一个孩子关在家里不是个办法。肖家一点也不大，夫妇俩守着祖上的老宅，虽然家在长安，虽然老吏在监狱有份差事，也只是维持温饱，肖夫人体弱多病，这才身体好了一些，想要去二太子那谋些差事，未曾想遇到这种事情。所以养活这个孩子除了靠老吏还有靠肖家夫妇的守边疆的儿子的军饷。也没有钱换一个大点的房子，只有眼前这个两层的房子。肖家夫妇觉得不能再把肖墨竹关着了，他得有朋友，得跟其他人正常交流，虽然多多少少教肖墨竹说话，但是远远不够。
老吏想起了远在鲁国的姑母。也许能给这个皇孙一个更好的条件。老吏远在鲁国的姑母相对来说比较有钱，儿子是个盐官，主管发放当地的盐业经营权，对卖的盐收税，盐官还主管盐的生产、分配和大规模的转运，因此盐官的额外收入比较多。老吏是肖家最小的孩子，从小也是备受宠爱，特别是以前在姑母家的时候，相比较几个哥哥姐姐，他受到的关爱比较多，连得到的东西都是最好的。老吏想此番将皇孙送过去养，姑母应该会欣然接受，就当是自己的孩子了。
就在肖家夫妇打算将肖墨竹送回老家的时候，长安城又刮起了造反的流言风波，虽然仅仅是流言，让肖家夫妇隐隐不安，商议后决定连夜启程出发。老吏写了给姑母的信，叮嘱肖夫人别丢了，肖夫人收好信，准备些衣服，备了些干粮，带了几串五铢钱。屋外老吏已经背好了从朋友那借的马车，热心的朋友还让自己的马车夫跟随。马车虽然不大，但是满是心意。深夜，肖夫人抱着怀中熟睡的肖墨竹上了马车。
他们星夜兼程，想要尽快赶出长安城，先出城，出城后可以先休息一下再出发。
