在军队建设方面，周武帝也进行了一系列改革。建德三年，他将府兵中的军士，改称为侍官，并募集普通百姓为兵。府兵原先的家族部属观念（这是宇文泰在府兵中改鲜卑姓的理论根源）被弱化，汉人士兵与鲜卑士兵的数量趋于相等，府兵制逐渐成熟起来。
接下来，周武帝把目光转向了宗教与文化。他的主要对手，乃是佛教。
佛教在北朝的社会问题，由来日久。佛教培养僧侣、修建佛寺，与世俗政权争夺土地与人力资源，僧尼违律犯戒、干政乱法，佛事耗费大量金钱，都对社会发展形成了巨大的阻力。而在战事频繁的乱世之中，该问题就更为严重。
北魏太武帝灭佛，不过持续了七八年，佛教便仆而复兴，比之前更为繁盛，到了北周和北齐对立时期，佛教可说是达到了一个顶峰。北齐开国君主高洋甚至取缔道教，于天保六年（公元555年）强迫道士剃度为和尚，独尊佛法；北周的奠基人宇文泰、权臣宇文护以及孝闵帝、明帝，也都是佛教信徒。因此，这些人即便看到了佛教的问题，也没有可能去解决。
周武帝与别的统治者不同，他推崇儒家思想，相信的是治国平天下的那一套，当然不能容忍佛教损耗资源、危害社会（值得一提的是，周武帝的鲜卑名“祢罗突”中的“祢罗”，本是“弥勒”的另译。他以佛为名，却偏偏不信佛法）。他解放官奴、简化礼仪、重组府兵，就是尽一切可能扩大国家的财源与兵源，如果能通过灭佛，把佛教的资源收归国有，国力势必将得到更大的增强。
武帝从来不打无准备之仗，扳倒宇文护，他等了十二年，灭佛事大，更需慎之又慎。为了深入了解佛教的情况，他曾到佛寺中微服私访，与僧侣相处，参与佛事。由于佛教的信众广泛，他必须在条件成熟的情况下才可以行动。所以灭佛的主张最好不要由武帝自己提，而要由别人来提。
其实早在武帝亲政以前，就已经有人提出过废除佛教，而且提出者本人居然就是个和尚。他的大名，叫做卫元嵩。
卫元嵩出生在成都，梁末出家为僧。他性格张扬，行为古怪，喜欢用谶语预测未来。起初没人理会他不着边际的预言，可事后一对照，往往很灵验。人们都把他当做宝志那样的神奇僧人。
有趣的是，这位僧人根本不信佛。北周攻占成都后，卫元嵩辗转来到了关中。天和二年（公元567年），卫元嵩向武帝上书，提出了他的主张。