希特勒政权上台不久，便掀起肆无忌惮的排犹狂潮。纳粹德国的法西斯倾向，引起了世界范围的高度关注。美国奥委会就是否参加柏林奥运会进行了激烈的辩论，最后持参加意见的人以微弱多数（58：56）获胜。
希特勒对奥运会毫无兴趣，认为奥运会是“由犹太人支配的丑恶集会”。1933年3月16日，组委会主席雷瓦尔特博士求见希特勒，向他介绍在柏林举办奥运会的意义，并建议政府应该关心这件事，使其成为全国的大事。希特勒犹豫再三，最终因为外交的需要而同意支持奥运会，答应由国库拨款两千万马克作为奥运会专用款。他试图利用这届奥运会粉饰太平，为他的第三帝国脸上贴金。
在当时的德国体育协会中，有4万犹太血统的运动员参加各项目的训练。1933年6月5日，德国政府内务部长弗里克曾专门前往国际奥委会维也纳全会，表示将严格遵守奥林匹克宪章，避免种族歧视。在弗里克的承诺下，21名犹太血统的运动员得以入选德国奥林匹克集训队。
随着德国排犹恶浪的不断高涨，1935年纳粹党颁布了《保护德国血统法》，犹太血统的德国人面临大清洗。1935年底，德国奥运代表团的21名犹太血统运动员中，有19人被淘汰。剩下的两名运动员分别是长期居住在美国加利福尼亚州的女子击剑运动员迈耶尔和冰球运动员巴尔（后者参加了1936年在德国加尔米施·帕滕基兴举行的第四届冬季奥运会）。迈耶尔金发碧眼，看上去颇像日耳曼人，她是一位犹太医生的女儿，曾获阿姆斯特丹奥运会冠军，及1929年和1931年世锦赛冠军。纳粹留下这两名犹太血统的运动员，只是为了掩人耳目。
不仅犹太血统的运动员遭到淘汰，就连犹太血统的柏林奥运会组委会主席雷瓦尔特博士也在劫难逃。从1924年起就担任国际奥委会委员的雷瓦尔特博士，1935年被迫辞去了德国奥委会主席的职务和国际奥委会委员的资格。他惟一还保留的身份是柏林奥运会组委会主席——国际奥委会明确表示：如果纳粹政府不顾后果地要将雷瓦尔特排挤出奥运会组委会，国际奥委会将会重新考虑1936年奥运会的举办地点。
面对纳粹政权疯狂的种族主义行径，不相信纳粹政权“将严格遵守奥林匹克宪章”承诺的国际奥委会主席巴耶拉图伯爵，于1935年11月5日到达柏林，同德国政府高层会谈。参加会谈的有希特勒，纳粹冲锋队负责人拉姆斯，德国新的体育领导人查默尔，内务部长弗里克和柏林奥运会组委会主席雷瓦尔特博士。
会谈开始前，德方请求巴耶拉图主席在拜见希特勒时要注意两点：第一，不要干涉德国的种族问题；第二，不要抽烟。态度强硬的巴耶拉图回答道：其一，他此行是专门来谈种族问题的；其二，他在谈话时习惯抽烟。由于纳粹政权当年的保密制度，这场重要的谈话内容已无从考证。巴耶拉图伯爵于1942年去世，查默尔于1943年去世，希特勒自杀于1945年，弗里克在1946年被纽伦堡国际军事法庭判处绞刑，雷瓦尔特于1947年去世。50年代中期，一位名叫波普利曼的比利时记者在国际奥委会第56期简报上追述了这场谈话的内容，因他曾于1936年就此采访过当时的国际奥委会主席巴耶拉图伯爵。
他在简讯中写道：巴耶拉图伯爵归来之后，向我叙述过同希特勒会谈的艰难。巴耶拉图不讲德语，希特勒既不会英语，也不会法语，会谈只好通过希特勒的首席翻译施密特进行。巴耶拉图认为：“既然德国愿意接待信仰不同的各国运动员，就不能辱骂和嘲讽某些人（指犹太人）。”希特勒的回答是：“种族问题对德国是至关重要的问题，它不能因为奥林匹克宪章而有所改变。”巴耶拉图反驳说：“这是事关奥林匹克宪章的问题，也是最基本的礼貌问题。运动员应该受到一视同仁的对待。如果某些运动员感觉受到怠慢或歧视，那是不允许的。”希特勒顽固地坚持自己的立场，直到巴耶拉图以国际奥委会主席的权威正式通告：他“不允许德国人侮辱犹太运动员，并坚持这一立场。必要时将取消这届奥运会”，这才使得纳粹领袖不再言语。希特勒两眼盯着天花板，独自嘀咕了半天，会谈一时陷入僵局。沉默相当长的时间后，希特勒转向巴耶拉图伯爵道：“您胜利了。我将制定相应的措施。”会谈到此结束，伯爵立即乘飞机返回比利时。
对于这篇报道，后人曾有争议，认为它并不完全真实。但在所有当事人都已作古的情况下，谁也无法对其进行考证。不过其中不少细节倒颇符合巴耶拉图伯爵的强硬个性。
