祖父和外祖父家对托尔斯泰的成长有潜移默化的作用，而且托尔斯泰在作品里也常以他祖父和外祖父家做原型，因此我们有必要对他祖父和外祖父家的情况做些简要介绍。
托尔斯泰的先祖彼得·安德烈耶维奇·托尔斯泰生于1645年前后。1676年被任命为御前侍臣。1697年受彼得大帝指派随同另外60名御前侍臣到威尼斯去学数学和航海。1701年被任命为俄国驻土耳其大使，1714年回到俄国后被任命为“秘密外交事务委员会”委员，授三等文官衔，积极参与解决了许多外交政策问题，1716、1717年两度随同彼得大帝出国，并于1722年随同彼得大帝远征波斯；1718年受彼得大帝委派劝说皇太子阿列克谢回国并以刚被任命的参政员身份参加对皇太子阿列克谢的死刑判决。为表彰他在处理皇太子阿列克谢问题上的贡献，彼得大帝赐他二等文官衔和一块领地。除了外交工作外，他还参与领导了“秘密办公厅”即特务机关的工作。他还同另外两个高官显贵创办了绸缎纺织厂。据认为，此事可能跟彼得大帝的计划有关。彼得大帝对他的功绩评价极高，赐给他彼得堡和莫斯科两处住宅，几块领地（共1695户农奴），并封他为伯爵。彼得大帝死后，叶卡特琳娜一世即位，他仍然备受重用，被任命为“最高秘密委员会”六个委员之一。在叶卡特琳娜一世病重垂危期间，他害怕皇太子阿列克谢的儿子彼得即位报杀父之仇，便密谋立彼得大帝的女儿伊丽莎白·彼得罗夫娜为帝，事败，被权重一时的缅希科夫永久囚禁于索洛韦茨修道院。托尔斯泰在1870—1873年间以及1879年酝酿写关于彼得大帝的小说时，对这位赫赫有名的远祖的情况曾极感兴趣。
托尔斯泰家族里出了许多文学家、艺术家和政治家。在一本《俄罗斯名人传记辞典》T字母里托尔斯泰家族被收入的人多达40位，占了95页。
彼得·安德烈耶维奇·托尔斯泰的长子伊万·彼得罗维奇（1685—1728）是托尔斯泰的高祖父；
伊万·彼得罗维奇的次子安德烈·伊万诺维奇（1721—1803）是托尔斯泰的曾祖父；
安德烈·伊万诺维奇的儿子伊里亚·安德烈耶维奇（1757—1820）是托尔斯泰的祖父。
托尔斯泰的祖父伊利亚·安德烈耶维奇生于1757年7月20日，在莫斯科士官武备学校毕业后，先在海军任海军准尉，后来进入禁卫军在普列奥布拉任斯基团服役，1793年以准将衔退伍。后来被选为图拉省良心审判法官。1791年同戈尔恰科夫公爵小姐结婚。1879年，托尔斯泰酝酿写一本18世纪小说时曾对戈尔恰科夫家族的许多人的生平事迹感兴趣。1903年托尔斯泰回忆自己的祖父，说他是个眼光短浅的人，很随和、快活，不仅慷慨，简直好挥霍，庄园里不停地举行宴会、演出、舞会、午餐、骑马兜风，自己不会玩纸牌，却喜欢玩大赌注的纸牌，任意挥霍，结果妻子偌大的田产被他挥霍一空，无以为生，不得不于1815年求得喀山省长职位。1819年，省首席贵族基谢廖夫往彼得堡密告他管理不善，省里贪污成风。彼得堡派人来调查。亚历山大一世收到调查报告之后决定免去他的职务，令其听候处理。这道圣旨是2月25日到的喀山，他于2月23日就因病自动辞职了。1820年3月21日去世，对他的指控，他没有来得及做任何辩解。
托尔斯泰的祖父伊里亚·安德烈耶维奇生有两儿两女。大儿子尼古拉是托尔斯泰的父亲，二儿子伊里亚幼年受伤，成了罗锅，不到七岁就死了。大女儿亚历山德拉·伊里尼奇娜（1795年11月30日—1841年8月30日），当父母住在彼得堡时就嫁给了富有的奥斯滕-萨肯伯爵。婚后第一年，丈夫就出现了精神病症状，两次企图伤害怀孕妻子的生命。她受伤后，被接回彼得堡父母家里，此后就一直住在娘家。二女儿佩拉格姬（1797年4月14日—1875年12月22日）在全家迁居喀山以后嫁给当地地主尤什科夫。
托尔斯泰的父亲尼古拉·伊里奇1794年6月26日生。其父为了使他早些踏上仕途，1800年在他6岁时就给他挂名当官，1810年16岁时已获十四等文官衔，翌年获十二等文官衔。据托尔斯泰在《回忆录》里说，1812年他“不顾父母的反对、恐吓和劝说”，放弃文职参加军队。1812年6月11日，他被编入第三乌克兰哥萨克团任骑兵少尉。6月12日，拿破仑不宣而战，侵入俄国。尼古拉·伊里奇未能参加俄国境内作战，不过1812年12月他参加了出国远征。1813年2月15日给两个妹妹写信说他对残杀人类的事已不那么感兴趣，希望娶妻生子默默无闻地享受天伦之乐。但当时战争正在进行，这种愿望不可能实现。1813年4月27日，获步兵中尉衔。10月参加莱比锡会战，因表现突出获骑兵上尉衔。打到格丁根时，被总司令维特根施泰国派回彼得堡送紧急情报。在返回部队的途中被法军俘获，羁押在巴黎，直到1814年俄军攻下巴黎为止。1819年3月14日，以中校衔因病退伍。1820年其父伊利亚·安德烈耶维奇去世（是死于沉重的打击还是自杀，已无法弄清），身后没有留下什么财产，他生前的债务超过他的财产一倍。为了避免还不起债进债户监狱，尼古拉·伊里奇到莫斯科卫戍司令部军人遗孤科任巡视员助理（当时法律规定，公职人员免受这种惩罚）。他当时才25岁，除了偿还父亲的债务以外，还要养活一大家子人——他的妈妈、妹妹以及一些亲戚、食客和仆人。为了摆脱经济困境，他决定同比自己大四岁的玛丽亚公爵小姐结婚了。
马丽亚公爵小姐的父亲、托尔斯泰的外祖父沃尔孔斯基家也是名门望族。他们的远祖可以追溯到切尔尼戈夫公爵米哈伊尔·弗谢沃洛多维奇——他1246年被召到金帐汗国，因拒绝履行鞑靼人的宗教仪式被鞑靼人折磨死了。还可以追溯到1380年库利科沃会战阵亡的伊万·尤里耶维奇公爵。沃尔孔斯基家族里出了总督、御前侍臣，有几个人甚至当上了御前大臣，有一人当上了大贵族。
沃尔孔斯基公爵1753年3月30日生，1760年七岁时就按惯例被编入军籍。1780年他已是近卫军大尉，作为随员陪同叶卡特琳娜二世在莫吉廖夫会见奥地利皇帝约瑟夫二世。1787年，他获准将衔，随叶卡特琳娜二世出巡克里米亚。1789年获少将衔。1793年被派往柏林任驻德特命全权大使。保罗一世登级后，他跟保罗一世发生过两次大的冲突。一次发生在1797年。当时他任亚速火枪团团长。这年6月，保罗一世把他写的部队头四个月的情况报告退给了他，批评他说，部队状况应按月报告，不可四个月报一次。7月，指定对他的团进行检查性检阅。看来他认为这是对他不信任，便称病不参加检阅。保罗一世大怒，下旨要他退伍，并且不给他任何退休待遇。谪居一年，1798年12月25日复出，甚至官升一级，获中将衔；12月27日被任命为阿尔汉格尔斯克军人省长。1799年7月7日，被升为步兵上将——当时只有三个人获此最高军衔。在阿尔汉格尔斯克任职期间，他跟保罗一世又发生了一次冲突。1799年5月，阿尔汉格尔斯克卫戍司令卡拉耶夫少将因为纸币发行银行阿尔汉格尔斯克管辖行行长阿尔谢尼耶夫跟自己说话粗鲁、没有礼貌而把他关进禁闭室，沃尔孔斯基得知后，批评卡拉耶夫越权，命令立即放人，并将此事呈报保罗一世。然而保罗一世却站在卡拉耶夫一边，亲笔写信给沃尔孔斯基，说“阿尔谢尼耶夫因粗鲁被关禁闭，放他出来，实属卑劣行为”，命令将阿尔谢尼耶夫重新关进禁闭室，等待处理。信写得相当不客气，连一般书信结尾常用的客套语都没有。也许因此沃尔孔斯基便于1799年11月向保罗一世提出退休请求，11月23日获准。他当时才46岁，绝非因为年老体弱才提出辞呈的，很可能是因为他感到在苛求挑剔、刚愎自用的保罗一世朝里为官不易。退休以后，一直住在亚斯纳亚·波利亚纳，再没有担任任何公职。
托尔斯泰回忆外祖父时说：“他是个严肃的人，但是从来没有听说过他有苛待农民的事。农民尊重他，爱戴他，因为他为人公正。”托尔斯泰很喜欢外祖父的某些性格，曾经不无得意地讲过外祖父的故事。据说，有一次，政府要丈量与亚斯纳亚·波利亚纳毗邻的那片国家森林，奉命办理此事的土地丈量员来见沃尔孔斯基，说可以把一大片森林划归公爵，但是要公爵送给他三匹马作为酬谢。公爵勃然大怒，把他赶走了。
玛丽亚公爵小姐1790年11月10日生，她还不到两岁的时候母亲去世了。她是公爵独生女。公爵对她的教育非常注意，任职期间未必能拿出许多时间来教育她，但退休后他亲自教她读书，甚至要她研究农业，向她传授数学地理学、政治地理学、天文学知识，甚至还要她一起研究管理国家的方法。玛丽亚公爵小姐除了各种知识之外，还懂得法语、德语、英语和意大利语。看来玛丽亚公爵小姐文化修养是很高的，但长得并不漂亮；她长期待字闺中，错过了结婚年龄，可能是因为舍不得离开父亲。1822年7月9日，她同托尔斯泰的父亲结婚。那时她的父亲沃尔孔斯基公爵已不在人世——他是1821年2月3日去世的。
婚后托尔斯泰的父亲就带着全家搬进了沃尔孔斯基公爵的庄园亚斯纳亚·波利亚纳。尽管不是恋爱结婚，但婚后生活很美满幸福。托尔斯泰晚年甚至竟得出结论说：按照古老的办法，特别在农民家庭里，背着男女双方说媒办成的婚事，往往比恋爱婚姻来得幸福。
托尔斯泰的父母共有五个孩子。四个男孩：尼古拉，1823年6月21日生；谢尔盖，1826年2月17日生；米佳，1827年4月23日生；托尔斯泰，1828年8月28日生；一个女孩：玛丽亚，1830年3月2日生。托尔斯泰是老四。
托尔斯泰的女儿亚历山德拉在她写的《父亲》一书里说：
“托尔斯泰的这种善良性格是从哪儿来的呢？从母亲那儿来的吗？那是毋庸置疑的。
“但是托尔斯泰也许继承了他的祖父伊里亚·安德烈耶维奇伯爵的一个极其出色的品质。据说这位老伯爵从来没有拒绝过别人的请求。他的孙儿也大有乃祖遗风，非常难得拒绝别人的请求。”
她在这本书里还说：
“毫无疑问，他从外祖父那里继承了真正的贵族气质和蔑视权贵的正当的自尊心。”
