赵高的祖上，原本是秦国王室的一位公子（1），高位厚禄，富贵荣华，衣食无忧。但秦国自商鞅变法后，以耕战立国，以法律治国，启用军功爵制度（2），但凡没有武功之人，即便是王室子弟，也难以得到升迁。由于没有军功或者功劳太少，这位秦国公子与其他兄弟以及他们的后代地位逐次降低，传至赵高的父亲这一辈时（3），已与普通庶民无异。
（1）《史记·蒙恬列传》中说：“赵高者，诸赵疏远属也。”在《史记·田单列传》也有着与之相似的笔迹：“田单者，齐诸田疏属也”。意思是齐国名将田单的身世为齐国诸田（即齐国公族）。注意：“诸田”中的“田”字并不是一个国名而是齐国公族的氏。《史记》、《汉书》乃至《三国志》等正史当中，有很多与此结构类似的词组，如：诸姬、诸窦、诸吕、诸赵……因此，可判定《史记?蒙恬列传》中“诸赵”的“赵”也是指氏，而不能简单的理解为赵国。
《史记?秦本纪》最后一段总结性的指出秦国王室的姓氏：“秦之先为嬴姓，其后分封……然秦以其先造父封赵城，为赵氏”。可知：秦国与赵国同祖同宗，同姓同氏；即“嬴”与“赵”是秦国王室与赵国王族共有的姓与氏。
按照先秦（包括秦朝）贵族礼制，男子用氏，女子用姓，故称赵高而不是嬴高（正史中称秦始皇为赵政而不是嬴政，也是这个原因）。从秦始皇对赵高如此信任来看，他不可能是其他诸侯国的人；又根据上面的材料可断定：他是秦国王室的远亲。至于究竟是什么样的远亲，何时从赵氏公族之中分出，因为没有其它更为确切的史料，已经无法准确地知道。
综上所述，可知赵高并非如后世所传的那样是赵国人，实际上他是秦国人。
（2）军功爵：军功爵制的出现和确立，在先秦军事史上具有划时代的意义。在春秋以前列国普遍存在“世卿世禄”制度。列国在选拔人才，包括军事将领时，实行“亲亲尊尊”的路线，即主要在奴隶主贵族中选取，平日村社各级首领，战时也就是各级军官。战场上军功一律录于村社首领名下，而普通士兵无论在战争中立下多大功劳都被看作是因村社土地关系而产生的义务，军功不会改变他们的社会地位。战国时列国推行的变法运动，有力地打击了旧贵族特权。而废除“世卿世禄”制度，就为新的军功爵制出台准备了社会条件。秦是推行军功爵制最彻底的国家，对当时和后世的影响也最大。
秦的军功爵制主要包括两项内容：其一，“有军功者，各以率受上爵”，意思是说凡立有军功者，不问出身门第、阶级和阶层，都可以享受爵禄；军功是接受爵禄赏赐的最必要条件。其二，“宗室非有军功论，不得为属籍”，即取消了宗室贵族所享有的世袭特权，使他们不能再像过去那样仅凭血缘关系——“属籍”，就可以获得高官厚禄和爵位封邑。
（3）关于赵高的父亲，史书上没有记载。但据秦国子承父业、以吏为师的国策，又据《睡虎地云梦秦简》——《秦律十八种》之《内史杂》所载：“非史子医殳（也），毋敢学学室，犯令者有罪。”，再从赵高本人精于书法、通晓律法来看，其父在书法和律法上的造诣估计也不低。
赵高的父亲，喜好书法，通晓律法，是一位在隐官工作的小吏；赵高的母亲，因为有罪而受过刑罚，以致身有残疾，刑满后自觉无处可去，为免受嘲笑亦不愿被人瞧见，便自愿入了隐官，兢兢业业地工作；忽一日，两人碰面了，却并没有泛起什么涟漪，后来因工作之故，时常打交道，一来二去，时间一长，渐渐互生了情愫：赵高之父喜她诚诚恳恳，任劳任怨，无甚二话；对方自觉独自过活也不是个事儿，终究要成家的，又喜他身材高大，沉默寡言，也是个不多话的人，便配合地与其眉来眼去；慢慢地，二人发展到了谈婚论嫁的地步，可赵高之父虽业绩突出，却不善巴结，故待遇微薄，捉襟见肘，对方也不嫌弃，欣然与其在隐官成了家，不久，生下了赵高、赵成等人。
