曹彬在岐沟关溃败后，雍熙北伐宣告失败，潘美和田重进虽然获胜，但也只能撤回关内，已经在平州登陆的海军也全部退入渤海。宋太宗急忙派部队镇守边关，迎回败兵，此时他手下已经无人可用，竟然把宋偓、刘廷让甚至张永德这些早就闲置了的老将请出来带兵，又令潘美军重出雁门关，将所攻占云、应等五州的百姓迁入内地。潘美行动之前，斜轸已经通过引蛇出洞的战术收复了蔚州，《辽史·耶律斜轸传》称斩首数万级，但蔚州守军绝对没有这么多。并又称他和潘美、贺令图在飞狐正面作战，又斩首数万，但其他史料均显示潘美退回后再也没有亲自出战，应该是错的。另一方面，萧太后亲自率军收复寰州，所率部队有大臣耶律汉宁（据《长编》，但此人不见别载，疑为耶律斜轸之误）、萧挞凛、南北皮室军、五押惕隐司等，共十余万众，都是辽帝国的禁卫精锐。在宋军参谋会议上，杨业提出一个方案：“先派使者通知云、应、朔州的人，我军离开代州时，云州的人就先跑回来，我军再去应州救人。
辽军必然来攻，朔州的人就可以趁机跑进石碣谷，在谷口埋伏三千强弩，并以骑兵辅之，能够抗拒辽军，这样三州的吏民都可以保全了。”这个方案应该说非常现实，但监军王侁却不同意，认为这样是完全放弃了寰州的人，还说：“我们手握数万精兵，却这么懦弱怯战，应该直出雁门，鼓行至马邑（朔州的一个县），和敌军正面交锋！”军器库使、顺州团练使刘文裕也表示赞成（注意，潘美并未表态赞成）。杨业认为这样必败无疑，王侁又说：“你不是一直号称'杨无敌'吗？现在却逗挠不前，难道怀有二心？”这话说到了杨业的痛处，因为他是北汉降将，最忌讳人说他不忠于大宋，于是只好答道：“杨业不是怕死，只是战机不利，只能白白牺牲士卒而不能立功，既然各位责我怕死，那我就为诸位先死吧！”毅然带本部兵出石峡路，直往朔州。临行前，杨业哭着对潘美说：“我此去必死无疑！杨业本是太原降将，早就该死了，皇上不嫌弃，还授予我兵权，杨家世感皇恩。
我不是避敌不战，而是在等待机会为国家立功，现在是大家说我避敌，那我就死在敌人的前面吧！”然后又指着陈家谷说：“大家在这儿埋伏步弩，并以骑兵辅两翼，如果我命大不死，退回到这里，你们出兵伏击敌军，不然就一个都活不了。”潘美和王侁同意了这个方案，各自带兵在谷口设伏。斜轸听说杨业又来攻朔州，令萧挞凛在路上设伏，自己正面应敌，佯败退走。杨业追击，萧挞凛伏兵尽出，斜轸也回师来攻，杨业大败，但是逃回到了陈家谷，然而情况却大大出乎他的意料。王侁本来和潘美一起在谷口设伏，但他登高而望，看见斜轸退走，怕杨业独占大功，于是要带兵前去攻击。潘美虽为主将，却不能制止。但王侁走了20里又听到杨业兵败退回，于是径直撤回雁门关内。潘美强烈要求他留在陈家谷口接应杨业，王侁又不听劝。无奈潘美也只好撤回关内，把杨业抛在了敌军的追击之下。杨业边战边撤，一整天才回到陈家谷口，见伏兵都已撤走，拊膺恸哭，对士卒大喊道：“此时我军已无活路，只能以身殉国！诸君可愿与我同死？”宋军将士无不为其忠义所感，热血沸腾，返身与辽军再战。杨业之子杨延玉挺身在前，杀敌数十，满身负伤，一匹白马都被染成了红马，血尽人亡。
73岁的老将岳州刺史（据《长编》《宋史》作淄州）王贵亲手射杀数十名敌军，箭支用完，又以空弩击杀数十人方才壮烈牺牲。最后宋军将士全体战死，无一投降。杨业奋战到最后一刻，手刃百余辽军，最后战马重伤倒地，终于被擒。《辽史·圣宗本纪》和《耶律奚低传》记载杨业退到狼牙村，藏在林中，被右皮室详稳耶律奚低发现后射死，显然是错误的。杨业被擒后斜轸出了一口恶气，问道：“你号称'无敌'，与我军作战30年（他似乎把杨业在后汉军服役，与他作为战友的时间也算上了），今天终于被我抓住，还有什么话好说？”杨业长叹道：“吾皇待我甚厚，我一直期待破敌以报，但是现在被奸臣所嫉，逼令赴死，导致王师败绩，哪里还有脸面活于世上。”然后绝食三日而死，体现了崇高的民族气节。战后，杨业的妻子折（shé，音同“佘”）氏不依不饶，要求朝廷重处潘美等人，潘美也顽强辩解。太宗本来就非常痛惜杨业的死，裁定潘美等人有罪，将潘美连降三级，王侁、刘文裕被除名充军。王侁是后周名相王朴之子，却以人品低劣着称，把王家的脸都丢尽了。
杨业被追赠为太尉、大同军节度使，留下的五个儿子都被录为官员，其中最有名的是长子杨延昭（原名杨延朗），日后也成长为对辽作战的主力，而折氏也因其正直敢争名垂青史。后人非常感念杨业及其子杨延玉、杨延昭的忠勇，创作出了《杨家将演义》等大量的小说、戏曲传颂杨家将的英名。而在这些作品中，不约而同的用到了一个反面角色：潘仁美。显然这个“潘仁美”的原型就是潘美。潘美在雁门撤退时，作为主帅，不能坚持正确的意见，又不能节制王侁等将擅自撤离，确实要对杨业的死负有主要责任。
所以，虽然潘美在宋朝建立的过程中立下战功无数，是结束五代乱世的英雄人物之一，镇守太原防区，鲜有败绩，此战之后第二年就病卒，享年67岁，这不光彩的一战简直就是晚节不保。潘美卒后赠中书令，谥号武惠，配飨太宗庙庭，从祀孔子，和曹彬、李继隆、曹玮一起被誉为“宋初四大名将”，但在后世的文学作品中，他却只能永远扮演白脸奸臣角色。杨业，本是北汉降将，刘家也算待他不薄，但他没有愚忠于北汉，而是选择了为大宋尽忠。他很明白，大宋才是值得他应该尽忠的祖国。在这个将星云集的时代，杨业父子其实算不上超一流名将，但是他们的忠勇却永远感动着世人。曹彬、潘美、李继隆、休哥、斜轸、萧挞凛这些盖世名将一定都为和杨家将战斗在同一个时代而深感荣幸。
