将元老重臣调离禁军以后，禁军将领都选由资历较浅的军官担任。这些人本无多大勋劳，又感激皇帝的恩遇，对皇帝唯命是从，便于驾驭。而赵匡胤对这些将领也是恩威并施，培养他们对自己的绝对忠诚，又控制和防范很严。有一次在讲武池前检阅水战演习，禁军的主要将帅都侍立于皇帝左右。赵匡胤说：“人们都说为国家要舍生忘死。但是死是人最难的一件事，哪里像说起来那么轻巧？”有个叫李进卿的禁军将领，马上走上前来，说：“只要皇上说一句，我马上就去死！”言毕，就跃身跳进池中。赵匡胤急忙让几十名水手下水救捞，等把他捞上岸，已经快断气了。还有一次，赵匡胤在许多人陪同下观看泗州新送来的一只老虎。给老虎喂了一只羊腿，老虎一下子就扑上去吞食了。然而，老虎的嘴张开了却再也合不上，原来是被羊骨头卡住了喉咙。赵匡胤朝左右看了看，问道：“有人能取出羊骨头吗？”马上有一个内侍挽起衣袖，将手伸进虎口。将羊骨头取了出来。966年（乾德四年），有人密告殿前都指挥使韩重赟私自选取亲兵作为自己的心腹，赵匡胤很生气，想杀死他。赵普劝谏道：“陛下不可能自己去统领亲兵，总是要交给合适的将领去统带。如果这次把韩重赟杀了，那么将领们都会害怕，再也没有人敢给你带亲兵了。”赵匡胤接受了赵普的意见，没有杀韩重赟，但不久还是将他调出禁军，去当彰德军节度使。忠义军节度使王全斌被委任为凤州路行营前军都部署，武信军节度使崔彦进为副都部署，王仁赡为都监，率禁军步骑及诸州兵，征伐后蜀，立了大功。但事后有人告发，王全斌等人杀死投降的后蜀士卒万余人，克扣蜀兵奉调入京的口粮，劫夺民家子女玉帛的不法行为。赵匡胤马上让中书省调查讯问，再由百官定议这几员将领都应处以大辟的极刑，最后自己才出马，下诏从宽处罚，将三人都降职处理。既严肃了军纪，树立了皇帝的声威，又收买了人心，使犯法的几位将领感恩不尽。
五代时，藩镇强横，皇帝难以控制，节度使往往父死子代，不听朝廷任命。朝廷如果要调动节度使，总是先派出军队防备，然后才下诏书。宋朝建立初，沿袭五代的情况，带有王爵和宰相称号的节度使就有好几十人。他们拥有数州之地，形同土皇帝。赵匡胤采用赵普的计策，逐渐削弱节度使的权力，防止其反叛。
赵匡胤首先采取得力措施，削弱节度使的权力，从根本上消除军阀割据的隐患。还在陆续平定各割据政权和反叛节度使的时候，就将他们所统领的州县收归朝廷直接管辖。963年（乾德元年）又下诏将各节度使驻扎州以外所兼领的支郡都收由朝廷直属，州官由皇帝任免，直接向皇帝奏事，不再从属于节度使。各州设知州管理行政事务，另设通判为其助手，但地位均等，州的文书必须有知州与通判连署，才能生效，以便二官互相牵制。而这些州官全部都由文人充当，对节度使有很大的牵制。天雄军节度使符彦卿长期在大名（今河北大名）任职，其亲吏刘思遇贪污不法，收取百姓租税时，都用大斗，百姓苦不堪言。赵匡胤就往大名派去一个文官当常参官，管理收租税的事，从此当地的斗量才公平了。
本来，各节度使总是将地方的赋税扣留大部分，只将极少的部分上供朝廷。节度使还指派心腹管理场院关市，收入全部归己。为了剥夺节度使的财权，赵匡胤听从赵普的意见，于965年（乾德三年）三月下诏，要求各州的赋税收入，除了留下必要的开支外，其余全部调送到汴京，不许占留。各地的场院关市，则由朝廷委派文臣管理。又在州以上设置了转运使，掌管一路的财政税收及水陆转运事务，以京官为转运使。所有地方官员，包括节度使、防御团练使、观察使、州刺史等，都无权干预钱粮之事，这就断绝了节度使聚敛的源流，保证了国家的财政收入。
五代时，节度使控制了地方的司法权。他们任用将校担任马步都虞侯和判官，兼管刑法狱讼，称马步院，朝廷不能过问。赵匡胤说：“五代藩镇跋扈，有的无视法纪，随意杀人，朝廷也不加处理。人命是关天的大事，对节度使也不能姑息。”为此，他下诏要求，各州凡是审理的大辟（杀头）案件，一律将案卷抄送刑部，由刑部审查批复，以防止地方随意杀人。973年（开宝六年）七月，下诏罢免所有由地方任命的马步都虞侯和判官，改马步院为司寇院，选派新及第的进士、九经、五经及其他资历相当的文官去担任司寇参军，掌管各州的刑法。节度使再也不能专横枉法了。
赵匡胤除了解除节度使们对禁军的控制权外，还采取了许多措施，削减节度使的数量和以文臣任武职。赵匡胤让赵普为他挑选推荐有武才的文臣，让这些人去顶替武将担任武职。最先是以左补阙辛仲甫担任四川兵马都监。赵匡胤深有感触地对赵普说：“五代时，方镇残酷暴虐，百姓深受其害。我要任用一百余名干练的文臣，去分别治理那些大节度使的藩镇。这些人即使贪污，为害也不及武将的十分之一。”于是，赵匡胤找各种机会，取消武将的军职，用文臣代替武将。例如，当节度使病死时，不许其子孙袭职；当武官调任后，或年老致仕（即退休）后，其原职都改由文臣担任。969年（开宝二年），凤翔节度使王彦超以及其他节度使到汴京朝见，赵匡胤在皇宫后苑设宴招待。酒足饭饱，赵匡胤似乎很随便地说：“各位都是国家的功勋旧臣，长期在各重要兵镇任职，职务繁重，确实不能体现我优待贤能的思想。”王彦超熟悉“杯酒释兵权”的故事，知道皇上在故伎重演，马上走上前去，跪奏道：“为臣没有什么勋劳，却长期得到这么多的荣誉和宠信。现在，我年纪大了，身体也大不如前，请求皇上可怜我，让我这把老骨头回家安度晚年吧！”同在宴席的安远节度使武行德、护国节度使郭从义、定国节度使白重质、保大节度使杨廷璋等人对王彦超的话很不满，纷纷摆起自己攻城克敌、久经沙场的战功和长年守边的劳苦。赵匡胤说：“这些都是过去的事了，说了有什么用！”于是，在第二天下诏罢免了王彦超、武行德等人的节度使，给他们每人一个奉朝请的虚衔。以后，凡节度使逝世、或调离不再任命新的节度使，所以节度使越来越少，又没有多少实权，仅仅成为优宠重臣或宗戚的荣衔。
经过以上的一系列努力，赵匡胤终于削弱和限制了节度使的权力，由朝廷直接控制了州县官的任免，将地方的行政权、财税权和司法权全部收归朝廷，极大地加强了中央对地方的控制，有利于王朝的巩固和发展。更重要的，正如朱熹所说，赵匡胤把地方上的“兵也收了，财也收了，赏罚刑政一切收了”，就从根本上解决了唐末五代以来，长期困扰中国社会的军阀割据混战不断的问题，使社会安定，经济得到迅速发展。
五代的统治者都是凭借武力起家，轻蔑文化和文人。当初，赵匡胤在军中手不释卷，周世宗就指责道：“作为武将，应该致力于使军备坚良，兵卒勇猛，读书有什么用？”后汉大将史弘肇也说：“安定朝廷，削平叛乱，只需要长枪大剑，像毛笔杆子有什么用处？”他最讨厌文人，说：“文人太难相处，竟然把我看成个大兵！”他处理社会治安的绝招，是不管罪行大小，抓住全都杀头。
从防止割据、巩固统治的国策出发，赵匡胤建宋后，一反五代重武轻文的陋习，重视文化，重用文人。他自己一贯喜欢读书，即使在战争间隙，也随时拿起书本，并到处搜集人间奇书。当初，他回答周世宗的责难时，就说：“为臣我没有奇谋来佐助皇上，却担任这么重要的职务，总怕不能胜任。所以找这么多的书来读，是想广博见闻，增加智慧。”即位以后不久，赵匡胤就聘请了一位名叫郭无为的饱学之士，到崇政殿给他讲授经书和史籍，并且形成制度，以后的每个皇帝都有专门的侍讲官，称崇政殿说书。通过读书，对他治理国家有许多启发。读《尚书》中的《尧典》和《舜典》，他感慨地说：“尧、舜对四个坏人（四凶）的处理，只是将他们流放到边地，现在的法网是多么严密啊！”于是，他指示大理寺官员制定了新的刑律，名为《宋刑统》，又将他自己有关的诏令编集成《建隆编敕》，一起刊印，使人们有所遵循，在一定程度上减轻了刑罚。他要求自己的亲属努力读书，说：“帝王的子弟，应当好好地阅读经书，知道治乱兴衰的道理。”962年（建隆三年）二月，他向开国功臣们发出号召，说：“我希望，现在的武将们，全都去读书，以便能知道治理国家的方法。”
赵匡胤特别重视儒学教育，以儒家思想去安定社会，用儒家经书去培养治国人才。刚登上帝位，他就下令增修国家最高学府国子监的房舍，在文宣王庙（孔庙）正殿里，重新塑制修饰先圣孔子及10位哲人的像，在东西两边廊庑的板壁上绘制了72位贤人和21位先儒的画像。赵匡胤亲自在孔子和颜渊塑像的基座上撰写赞辞，又要求随行大臣撰写其余贤哲的赞辞。在国子监修建的过程中，他一再亲临视察督促。962年（建隆三年）六月，国子监建成，左谏议大夫崔颂被任命为判国子监事，并立即聘请经师，招收生徒讲学。赵匡胤听说国子监已有生徒读书，非常高兴，传诏予以褒奖，派遣宦官送去许多酒果，赐给各人。不久，又下诏，按照一品大官的礼仪，在文宣王庙门前树立16根大戟，以壮声威。从此以后，社会风气开始转变，大臣百姓都以读书为荣。
读书做官是孔子和古代文人刻苦读书的动力，但是在五代，这种愿望却很难实现。赵匡胤要根除军阀割据这一毒瘤，实行的一项重大措施，就是重用文人，以文官取代武官的许多权力。他从实践中深知读书人对治理国家的重要。建宋之初，百废待举，翰林学士卢多逊担任太仆令，为他制订规划了一系列的礼仪制度和有关仪仗，并向皇帝讲解其目的与作用，使赵匡胤叹为观止，说：“选宰相要用儒者。”963年（建隆四年）十一月，赵匡胤想更改年号，交代宰相：“必须挑选自古以来未曾有过的。”于是选出“乾德”二字作为新年号。965年（乾德三年）正月，平定后蜀，有些后蜀的宫女被送来后宫，赵匡胤翻检她们的梳妆用品，在一面负镜的背面，见到有“乾德四年铸造”五字，大为惊奇地说：“今年才是乾德三年，这面镜子怎么竟是乾德四年铸造的呢？”拿了这面镜子就去找宰相们询问，竟没有一个人能解每件事，不得已，赵匡胤召翰林学士陶谷和窦仪上，窦仪说：“前蜀王衍曾经用过这个年号，此镜一定是从蜀地得到的。”赵匡胤大喜，又一次感叹说“做宰相须是读书人！”
为了得到更大的文官队伍，赵匡胤除了要求各级官司员及时向朝廷推荐人才外，自己也随时注意发现和选拔人才。970年（开宝三年），有人讲酸枣（今河南延津西）处士王昭素学问渊博、德行高尚，赵匡胤就亲自在便殿召见，让他讲乾卦。讲：“九五飞龙在天”一句时，赵匡胤说：“这样的书，怎么可以让普通人见到。”王昭素回答：“这本书里的说法，只有圣人出现时才能合符其中的卦象。而陛下正合其象。”赵匡于是向他了解民间情况。王昭素讲了不少民间的疾苦，并博引孔子、孟子的话劝谏皇帝。赵匡越听越高兴，说：“你为何不求做官，使我到今天才见到你？”又问他治世养身的办法，王昭素说：“治世莫若爱民，养身莫若寡欲。”赵匡胤觉得这句话太重要了，马上就拿起笔写到了屏风上，任命他为国子博士。
赵匡胤从一开始就很重视科举制度，用考试的办法，发现和选拔优秀人才。当时，取士分为三科：一是贤良方正，直言极谏；二是经术优深，可为师法；三是详娴吏治，达于教化。科举向文人广泛开放，不管是内外职官，还是布衣草民，不分门第、乡里，都可以来来应试。由专门的考官考论三道，再由皇帝亲自主持廷试，决定录取。为了防止滥竽充数，赵匡胤要求很严，除了亲自主持殿试外，各科取进士的数量也少，每科仅取8—10名。还常常对考选者的情况加以过问。968（乾德六年）三月，权知贡举王祐录取了10名合格进士，其中翰林学士、南郊礼仪使陶谷的儿子陶邴名列第六。第二天，陶谷上朝谢恩。赵匡胤对左右的人说：“我听说陶谷不能管教儿子，陶邴怎么能够登第？”于是下诏让中书省官员复试，结果仍然合格。由此，赵匡胤专门下了一道诏书，指出：“士人的选拔，并不是要去树立个人的恩惠。做大官的人，应该严格要求自己，不可结党营私，互相吹嘘，互相包容。考试是国家的重要手段，怎么能私自冒充和滥竽充数！从今以后，录取的进士，凡是大官的子弟，都要由中书省复试，合格后才可赐第。”荆湖川蜀诸割据政权平定以后，参加科举的人数大增，朝廷要求各县一路上供给举人吃食。有的举人一再参加考试，不能及第。970年（开宝三年）三月，赵匡胤下诏礼部，查阅各州推举并参加过15次以上考试的举人名单，总共106人，全部赐给本科出身。这种以皇帝特恩的名义录取，是赵匡胤网罗人才的一项新举措。972年（开宝五年），主持科举的翰林学士李昉作弊，录取不合格人员。赵匡胤殿试时，进士武济川、刘睿竟胡乱回答，人才鄙陋，被当殿罢黜。正好有人上诉李昉凭关系人情决定取舍，赵匡胤于是亲自召见落第者360人，从中挑选了195人，由殿中侍御史李莹等人为考官，当殿给以笔墨纸张，进行诗赋考试。从中录取进士26人，五《经》4人，《开元礼》7人，三《礼》38人，三《传》26人，三《史》3人，学究18人，明法5人，全部赐给及第，并赐钱设宴招待。李昉因此受到处罚。赵匡胤高兴地说：“过去，科举多被有钱有势的人家垄断。我现在亲自在讲武殿考试，才革除了这一弊病。”
通过科举等各种途径，朝廷得到大量有学问的人才，并将他们充实到从中央到州县的各级政权机构，建立了庞大的封建官僚体制，有力地保证了政权的巩固。
赵匡胤建立的以皇帝为中心的封建中央集权政治制度，成功地解决了绵延数百年的军阀割据问题，巩固了封建政权，有利于社会的安定和经济的发展。但是，其防止军阀形成的军事体制，兵权过于集中，将不知兵，兵不识将，严重地削弱了军队的战斗力。官僚机构庞大而互相牵制，办事效率低下。所以，以后宋朝国力渐弱，在外敌面前被动挨打，人民负担太重，阶级矛盾日益尖锐，最后在内外交困中被金人所灭，这些都是赵匡胤所始料未及的。
