当年皇帝认定琼妃与人私通，因此厌恶疏远她，却始终没有将此事宣扬出去。而知晓内情的人，除了那位神秘的举报者，唯一幸存的便是夏霖了，其他的都被皇帝以各种理由灭了口。
而秦牧疑似野种的消息自然也无人知晓，因为皇帝终究不舍得赐死琼妃，因此后宫诸人只以为两人感情破裂。本来帝王的真心就难得，被琼妃霸占了这么久，她失宠正是众人拍手称快的喜事，根本没有人想到中间还有这么一段公案。
慈安太后对帝妃感情只能摇头叹息，又怜秦牧年幼，便将当时只有三岁的他抱过去养于膝下。直到七年前慈安太后过世，皇帝不愿让其他妃嫔抚养秦牧，便指了安黎宫给他居住，服侍的人倒是按皇子的标准配齐了的，但秦牧既不受重视，那些拜高踩低的人又怎会尽心服侍？
秦牧虽然年幼，却十分聪明坚强，只装作看不到那些宫人所为，从来不去计较。他也颇懂韬光养晦的道理，平时跟着教导皇子学识和武功的师傅学习时，总是一副懒散的模样，久而久之，师傅也不大理他了。
但他私下却十分用功，夜里经常以怕黑为理由，要求宫人多点几盏灯，他便在被窝里借着灯光读书，一直读到半夜，起身熄了灯，再偷偷出宫找个僻静的地方练功。
安黎宫的宫人对他本就怠慢，加上他总是逆来顺受，便经常在值守时毫无顾忌的丢下他跑去赌钱，因此竟无人发现这位皇子的过人之处。
慈安太后过世大半年后，有一日傍晚时分，秦牧坐在安黎宫外的河水边，无聊的往水中扔着石子，心中却在默默的温习着白天师傅教过的东西。此时他武功已有小成，很快便察觉到有人在一旁窥视，戒备心顿起，表面上却一副毫不知情的样子。
天色黑下来以后，宫人开始准备晚膳，秦牧身边一个人也没有，一道人影从暗处冲了出来，使劲将他往水中推去。他假装惊慌失措双手乱抓，将那人也拖入了水中。由于他一贯表现得十分怕水，那人并不知道他其实水性很好，抓住他的头便往水下按去。
他一边挣扎，一边有意将那人往远处引。离岸三丈远的水下有一块尖锐的石头，他将那人引到石头处，利用石头将她击晕。
借着安黎宫内灯笼的微光，他见到那人的面容，是个不认识的宫女。刚才拉扯的时候她的衣带散开了，右臂一颗朱砂痣露了出来。他心念一动，上前在她下巴上一摸，竟从她脸上撕下一张人皮面具来。面具下的人似曾相识，正是肖淑妃宫里的杂役宫女玉梅。
他不动声色的将面具戴了回去，在水中拖着玉梅到了下游，将她扔在岸边，自己则游回落水处，挥舞着手臂直喊救命。宫人闻声而来将他救起，他趁机装病装了半个多月。众人以为是他自己失足落水，他既未否认，自然不会有人去多管闲事，因此这件事并未传开。
只是从那时候起，他就时时警惕，肖淑妃数次派人出手，皆未得逞。眼看他一天天长大，肖淑妃也不敢再轻举妄动。
