祖先崇拜观念在中国古代起源很早。从考古学的发现来看，在仰韶文化、马家窑文化、大汶口文化、龙山文化等史前文化遗址中，都有雕刻的石祖、木祖和烧制的陶祖，说明在这一时期祖先崇拜就已萌芽。辽宁牛河梁红山文化遗址，距今约5000年左右。该遗址房屋基址上，有彩绘的墙壁画，泥塑的女人群像等。研究者认为这座房屋原是女神庙。这是迄今为止发现的古人祭祀女性祖先的最早实物证据。对于我们追溯孝观念萌生的根源来讲，这则资料相当宝贵。我们由此可以推断，祖先崇拜以及孝的观念，早在母系氏族时代，已经有了苗头。而且，牛河梁女神庙是专为“庙祭”而营建的独立的祠庙，在积石冢群中还建有专用于墓祭的圆坛，从而形成一个设施齐全、规模宏大的祭祀“列祖列宗”的中心场所。所以研究者断定，“这绝非一个氏族甚至一个部落所能拥有，而是一个更大的文化共同体崇拜共同祖先的圣地。”这表明当时的祖先崇拜观念已经相当发达。
不过，祖先崇拜观念的完全确立，当是父家长制时期的事情，“父权制家庭的神就是祖宗的神灵。因为这种家庭的成员把对自己家长的那种亲属间的眷恋之情转移到祖宗神灵身上。”作为中华民族祖先来崇拜的神农氏、有巢氏、燧人氏、后稷以至黄帝等，都是父系氏族公社的领袖。
祖先崇拜有一个范围日臻缩小的过程。最早的祖先崇拜是崇拜氏族团体、部族团体的共同祖先，后来随着血缘家族和个体家庭的产生及完善，才出现了家族、家庭的祖先崇拜。
渊源于生殖崇拜的祖先崇拜，对孝观念的形成有巨大的催生作用。古人把生殖崇拜观念与对祖先灵魂的迷信观念相结合，把祖先的生殖行为神秘化、神圣化，以为不仅人的生命由祖先而来，人的命运也由祖先主宰，祖先的灵魂可以荫佑本族成员，由此而产生了祭祖、孝祖的观念。率先把生殖崇拜和孝鲜明地联系起来加以考察的是周予同先生。周先生在《“孝”与“生殖器崇拜”》一文中讲到：“就我现在的观察，我敢大胆地说，儒家的根本思想出发于c生殖崇拜，；就是说，儒家哲学的价值论或伦理学的根本观念是‘仁，，而本体论或形而上学的根本观念是‘生殖崇拜’。因为崇拜生殖，所以主张仁孝；因为主张仁孝，所以探源于生殖崇拜；二者密切的关系，绝对不能隔离。”周先生立论的出发点与我们不同，但其见解是有道理的。“先祖者，类之本也”，“无先祖焉出？”人类自身的再生产使得人们从血缘关系上崇敬祖先。从这个意义上讲，“祖先崇拜的产生是人为追索其祖源而展现的对生命本质与价值意识的一种外在形式。”
有的学者认为孝观念的产生所依赖的条件有两个，其中之一就是氏族社会古老而自然的亲亲关系：“基于血缘而产生的‘亲亲’关系，这是人类一种古老的感情，氏族社会是依靠它来维系的。在那时，生产力水平极其低下，人类还无法掌握自己的命运，这种感情便以对祖先神的崇拜表现出来，祈求祖先神保佑后代，保佑本氏族的繁荣。这种基于血缘的‘亲亲，之情，后来成为维系‘孝’的感情纽带，而使家族繁荣与绵延，又成为‘孝’的一个重要目的。”这种以祖先崇拜形式表现的“亲亲”之情是孝观念产生的重要自然情感基础。
从心理根源上讲，祖先崇拜观念的产生大致出于这样几个方面的因素：其一是戒慎恐惧，惟恐得罪了祖先灵魂，祖先会降祸于己；其二是乞求佑护，希望祖先保护、降福于己；其三是慎终追远，表达缅怀祖先的情怀；其四是崇德法祖，追念彰显祖先的功德以励后人。这四个方面对祖先崇拜的影响作用，是随着历史发展的进程依次递进的。也就是说，时代越往前追溯，前面因素的主导作用越大；时代越晚，后面的因素主导作用越大。在一般情况下，上述四个方面往往又胶着在一起，共同发挥着作用。从这四个方面，我们也可以看出，早期的孝观念，除了表达感恩戴德、“慎终追远”、“报本返始”的道德情感外，更多地表达的是祈福避难的宗教需求，具有准宗教的意义。
正因如此，祖先崇拜以及由此生发的早期孝观念，总是通过祭祀活动来表达的：“祭者，所以追养继孝也。”在祭祀活动中，祭祀所指的对象是十分明确的，“神不歆非类，民不祀非族”，“鬼神非其族类，不歆其祀”，“非其鬼而祭之，谄也。”显然，祭祀所指的对象，正是孝观念所设定的对象。换言之，只有崇拜者或行孝者自己的祖先，才能成为祭祀的对象，也才能成为崇拜或行孝的对象。基于血缘关系而施及后世子孙以福佑，是被崇拜的先祖所具有的、神性化了的特性。祖先只掌管自己子孙的休咎，不管别人子孙的休咎。
祖先崇拜所牵涉的一套信仰与仪式是制度化的。祭祀的对象不同，仪礼规程相异；主祭者身份不同，祭祀的方式和祭品有严格区别；祭祀的时令地点，也万万不可混淆。由于祖先的神灵是能够左右子孙的利害福祸的，因此，举凡生死悠关、厉害相系的大小事务，古人都要举祭祀之礼，以祈求祖先的佑护，“国之大事，在祀与戎。”祭祀祖先的活动，是人们社会生活的重要内容。记载殷商社会生活的最重要的文献资料是甲骨文，“十万片甲骨文字，大部分是为祭祀卜用的。……卜辞中，祀比戎似乎更重要，也可以说，他们信仰中心在于人鬼。崇拜祖先的宗法观念，直从殷代延续到现代，这也是中国文化的一个特点。”
进一步说，由祖先崇拜而来的祭祀祖先的活动，就是早期孝观念的宗教表达形式：“一个人，对于其祖宗所引发的思慕虔敬之情，其本身即系一种道德之自然流露”；“求卜和祭祖的活动，除去其宗教意义之外，就是尊祖和孝亲的意识和重要活动形式。”有人在考察殷周金文中的“孝”时，列有关于孝的鼎64器。其中涉及祭祀祖先的累计58器，占到64器的90%。这个统计数据表明，早期的孝行在很大程度上都是借助祀祖活动体现出来的。
西周春秋时代祭祀祖先用“尸”，也就是找活人装扮成祖先的样子来受祭。他们认为祖先的魂可以附到“尸”的身上。按礼的规定，祭祖必须用同姓为“尸”，而且必须是孙一辈的人，即“孙为王父尸。”战国时代，“尸礼废而像事兴”，开始用画像来代替“尸”。如《楚辞，招魂》就有“像设君室”的说法。祭祀“神主”也是一种比较普遍的形式。至今民间仍有供奉着“神主”的习俗，即把写有祖先父母名字的木制神牌置于堂上与生人长相左右，逢年过节家长率老少馨香膜拜。
在这种形式上是宗教迷信、内容上却充满伦理意义的祖先祭祀中，既满足了生者追念亡人的感情需求，又使子孙与祖先的血脉象征性地联系在一起，个体的生命在这一瞬间获得了无限延伸，实现了永恒和不朽。这就是在孝的伦理学要求背后所潜藏着的巨大的宗教心理动因。尤其是对于那些立德、立言、立功“三不朽”于其都不现实的普通百姓而言，“不朽”只能在世代繁衍的血脉相连中实现。子孙的传承、生命的延续，不仅是稳定父权家长制社会的中流砥柱，而且是对个体有限生命的超越，是对死亡的超越。血脉传承中任何一个个体生命的中断，都可能会导致整个血脉的断流。
家族香火的永恒延续和族类生命的无限传承，正是以祖先崇拜形式表达的孝道的实质性内涵。只有从这个意义上，我们才能深刻理解孟子“不孝有三，无后为大”在中国人心目中的分量。
在个体小农自然经济和宗法封建制的社会中，祖先崇拜是人们感情的一种归依和寄托。它远比一般的神灵崇拜更为普遍和深入，同时也更合乎人情。经过春秋战国时期社会思潮的洗礼，祖先崇拜中的宗教因素逐渐减弱，人文因素日趋增强。尤其是两汉以后，祖先崇拜观念更加广泛地深入民间，走向平民化和社会化，祭祖已融人人们的日常生活之中，成为一般老百姓生活和心灵的寄托，成为全年岁时节令中不可缺少的一件极为普通的礼俗。祭祖有庙祭和墓祭两种形式。庙祭是在固定的祖庙里祭祖，即“礼行于祖庙，而孝慈服焉。”墓祭即到祖先墓前祭祀，这是后世民间广泛采用的祭祀先人的形式。各地墓祭的名称和形式不同，如有墓祀、上冢、上坟、上食、上饭、祭扫、拜扫、扫墓、拜墓、添土等名称。清明扫墓是尽人皆知的祭祖追先礼俗。农历正月初一、二月初二、夏至、七月七、冬至、腊月都要行祭祖之礼，“汉代的祭祖习俗，在内涵及形式上大体已奠下后世的基础。”及至宋代以后，祭祖的礼俗日趋繁缛和制度化，如冬至祭始祖，立春祭先祖等等。尤其是宋代宗族制度发达，兴建祠堂、祖庙蔚然成风，宗祠不再仅是单纯的祭祀场所，而俨然成为维系社会、道德、法律、传统的重心。无论官宦人家还是平民百姓，都把祖先的牌位，或是请画工描绘的祖先的形象置放于祖庙、家庙或家族的祠堂中进行祭祀，以示孝道。所以有人说：“中国的家族是着重祖先崇拜的，家族的绵延，团结一切家族的伦理，都以祖先崇拜为中心——我们甚至可以说，家族的存在亦无非为了祖先的崇拜。”这些祭祖礼俗在民间基本上都保存、沿续下来，直到解放后乃至现在，不少地方仍有遗存。
不少学者认为，中国古代祖先崇拜有两个截然不同的思想范畴。一个是以儒家为主流，以知识阶层为主体，以志意思慕、慎终追远、报本反始为内容，以理性主义为特征的所谓“大传统”，即“礼”；一个是以墨家为末流，以社会下层大众为主体，以鬼神信仰和神秘主义为内容和特征的“小传统”，即“俗”。这两个传统并行不悖，绵延不绝，并且把孝道作为共同的思想观念去遵奉。祖先崇拜上的这大、小两个传统，继而直接导致了丧礼和祭礼中的礼和俗两个传统，这大、小两个传统到明清以后才逐渐混融无迹。事实上，自春秋之后，祖先崇拜只是以民间宗教的形式存在着。除了与封建社会土地所有制的分配和继承息息相关之外，人文意义和伦理意义上的祖先崇拜也只剩下了两个基本的目的：一为联络血缘情感，增强宗族凝聚力，突出、强化现实世界的秩序意识和道德责任；二为以先辈为伦理范型，要求后人蹈其迹、承其业、弘其志。
从对孝观念与祖先崇拜关系的析理中，我们可以看出：其一，从心理根源上讲，孝观念是直接脱胎于祖先崇拜观念的。换言之，祖先崇拜是孝观念产生的重要心理契机。其二，祖先崇拜随着祭祀祖先活动的发达和制度化得以不断强化，孝的观念因之而不断强化和提升：“礼行于祖庙，而孝慈服焉”，“显扬先祖，所以崇孝也”。其三，祖先崇拜以及祖先祭祀，不仅催生了孝的观念，而且成为孝观念的重要内容和表现形式。其四，随着孝观念的发展，原本作为因果关系的祖先崇拜、祖先祭祀与孝观念、孝的实践，逐渐演变为胶着、伴生关系，并且在伴生发展的过程中互相强化、互相丰富，进而成为中国古代社会生活、文化生活及至政治生活的重要内容，成为传统社会文化心理结构的基本要素。
在此需要交代的一个问题是，既然祖先崇拜是父家长制的产物，而父家长制乃是人类社会历史发展的必经阶段，因此可以说，它并非中国独有的，在一切历经父家长制的国家中，几乎都存在过祖先崇拜，这是人类一种普遍的宗教、道德行为。那么，为什么孝的观念在中国尤为发达呢？全面地回答这一问题，是文化比较研究的一个重要课题。简而言之，有这样几点值得重视：第一，不同国家和地区祖先崇拜的内涵是各不相同的。中国人崇拜的祖先，是崇拜者历世的祖先，尤以始祖及有所建树的祖先为重，从而有一个完整的、以血缘为主线的时代相传的祖宗谱系，这在世界其他民族中是极为少见的。就以受中国文化影响很深的日本来讲，其祖先崇拜也说得上是源远流长，但从严格的意义上讲，日本人崇拜的只是近亲而不是祖先，其血缘宗族性特征是不明显的。第二，祖先崇拜的发展路向有较大差异。在不少文明古国，如希腊、罗马和希伯来等，虽然在历史上曾经出现过祖先崇拜，但由于后来遭受到基督教、犹太教的冲击，日渐消弭。而在中国，奴隶社会是由原始氏族公社的“平稳过渡”而来，农业经济、宗法制度都未曾受到大的冲击。祖先崇拜、孝观念因此得以一脉相传、一以贯之。第三，祖先崇拜、孝观念在中国得到了历代统治者、主流文化和民间社会各个层面的认同，因而不仅是政治伦理、社会伦理的核心，是每个人安身立命的行为准则，而且是社会安定的重要资源，是文化传承的一条主线。这一点，也是在世界古代社会、古代文明中绝无仅有的。
还应当指出的是，“文化生态”是一个整体，是一个有机的系统，它的各个要素都是相互联系、相互作用的，孤立地看待任何一个要素，都不可避免地会走向片面。这里探讨孝观念产生的文化生态根源，是从农业文明、宗法制度、祖先崇拜三个方面分别进行论述的，这只是为了研究和叙述的方便。事实上，这三个因素是综合作用、不可分开的，孝观念的创生和流变都是在这个独特的三维空间进行的。其中，农业文明作为中国古代社会的经济基础，无疑是最重要的因素。没有农业文明，也就没有宗法制和祖先崇拜，进而也就不会有孝观念的产生和孝道的发展。宗法制与祖先崇拜则是交织在一起的，它们都是氏族社会的遗留物，只不过一个是以制度的形式，一个是以心理沉淀的形式孕育和促发着孝观念的产生，并在其后自身的发展演进历程中与孝道紧紧地结合在一起，既作为实施孝道的社会基础和心理基础，又表现为实行孝道的具体形式和必要手段。另外，仅仅看到上述的三个要素也是不够的，还必须把由上面几个要素构成的小系统放在中国古代社会这个大系统之内，才能完整地理解孝观念所产生和赖以存在、发展的深厚土壤。
