狄青的旧部焦用押兵路过定州，被所押的犯人控告克扣供给，韩琦准备诛杀焦用以肃军纪。为救焦用，狄青数次求见韩琦，韩琦都不理睬。最后狄青一直在韩琦公署的门外阶下等候，见到韩琦后说：“焦用有军功，是个好男儿”。韩琦非常轻蔑地撇了撇嘴，“东华门外状元及第敲锣打鼓庆祝的才是好男儿，焦用一介武夫也敢说是好男儿？”
硬是当着狄青的面把焦用给杀了。
狄青的战功，在当时是无与伦比的，按理说应该受到大家的尊重，但事实并非如此，很多人对他的出身和脸上的黥文总会流露出某种轻蔑或歧视。《杨家府演义》借杨文广之子怀玉之口说出身为武将的心声，“他们恃是文臣就欺凌我等武夫，受几多呕气”。狄青也深知这一点，他曾经感叹：“韩枢密功业官职与我一般，我少一进士及第耳。”宋代的进士分为三个档次，进士及第、同进士出身、赐进士出身，进士及第是最高等，没有进士及第就如同今天没有一张好的大学文凭一样，凭空就要受人歧视，难怪狄青会发出那样的叹息。狄青的功业远胜过韩琦，但就是因为没有进士及第而觉得低人一等。即便他以后位列枢密使，成了当朝的最高军事长官，境况仍然没有多少好转。
狄青升任枢密副使时，枢密院派人迎接，等了几天他都没来，迎接的人恨恨地骂道：“迎一赤老，还屡日不来！”狄青身为武将威名四震，升任枢密使后，文臣们更是担心他功高盖主，有朝一日难免不会夺权，一些流言蜚语开始传播。因为他不肯去掉脸上的黥文，有人编出这么一首歌：“汉似胡儿胡似汉，改头换面总一般，只在汾川河子畔。”“汉似胡儿胡似汉”指他姓狄而为汉人，“改头换面总一般”指他脸上有黥文，“只在汾川河子畔”指他的籍贯汾州西河。这首歌的隐意是说，狄青将危害大宋。
嘉祐年间，京师洪水泛滥，为了避水，狄青把家搬到大相国寺殿。一天，他穿件浅黄色的袄子坐在殿上指挥士卒，开封的人便盛传黄衣登殿了。这又是一件敏感事，浅黄色的袄子当然与黄袍不同，不过前朝曹利用的儿子就是因为穿浅黄色的袄子被人陷害下油锅烹了，曹利用本人也受牵连被贬谪房陵，在路上无奈自杀。这两件事尽管都是捕风捉影，但如果较起真来，杀伤力也是极大的。
还有更为离奇和荒唐的事在流传，典型的就是光怪烛天和狗生异角，有人称狄青家养的狗长出了角，而且屡屡出现怪异的光象，凡此种种叠加在一起，让文彦博、欧阳修等朝中大臣得出一个结论，狄青是朝廷的隐患，狄青不除，朝廷危矣。原本武将就不能担当枢密使，这回他们更找到了充足的理由。当初任命狄青为枢密使时，宰相庞籍就力称不可，理由正如后来欧阳修所说：“武臣掌机密而得军情，不唯于国家不便，亦于其身未必不为害。”
宋仁宗至和三年（1056年）七月以前，欧阳修三次上书，要求宋仁宗罢免狄青。欧阳修（1007—1072）是宋仁宗天圣八年（1030年）进士，在北宋政坛、文坛及史学发展上，均有重大建树和影响，他人品高洁为人敬仰，早年参与范仲淹、韩琦等人推行的“庆历新政”，终其一生为谋求北宋王朝的长治久安不遗余力地举贤荐能。就是这样一个泰斗和导师级的人物，却多次无中生有地弹劾构陷狄青。欧阳修所上的第一疏叫《上仁宗乞罢狄青枢密之任》，堪称宋代文臣论奏武将的代表作，文中的一些观点非常值得玩味：
闻人臣之能尽忠者，不敢避难言之事；人主之善驭下者，常欲闻难言之言。然后下无隐情，上无壅听，奸宄不作，祸乱不生。自古固有伏藏之祸，未发之机，天下之人皆未知，而有一人独能言之，人主又能听而用之，则销患于未萌，转祸而为福者有矣。若夫天下之人共知，而独入主不知者，此莫大之患也。今臣之所言者，乃天下之人皆知而唯陛下未知也。今士大夫无贵贱相与语于亲戚朋友，下至庶民无愚智相与语于闾巷道路，而独不以告陛下，其故何也？盖其事伏而未发，言者难于指陈也。
臣切见枢密使狄青，出身行伍，号为武勇。自用兵陕右，已著名声，及捕贼广西，又薄立劳效。自其初掌机密，进列大臣，当时言事者已谓不便。今三四年间，虽未见其显过，然而不幸有得军情之名。推其所因，盖因军士本是小人，面有黥文，乐其同类，见其进用，自言我辈之内出得此人，既以为荣，遂相悦慕。又加青之事艺实过于人，比其辈流又粗有见识，是以军士心共服其才能。国家从前难得将帅，经略、招讨常用文臣，或不知军情，或不闲训练。自青为将领，既能自以勇力服人，又知训练之方，颇以恩信抚士。以臣愚见，如青所为，尚未得古之名将一二。但今之士卒，不惯见如此等事，便谓须是我同类中人，乃能知我军情而以恩信抚我。青之恩信，亦岂能遍及于人？但小人易为扇诱，所谓一犬吠形，百犬吠声，遂皆翕然喜共称说。且武臣掌机密而得军情，不唯于国家不便，亦于其身未必不为害。然则青之流官军士所喜，亦其不得已而势使之然也。臣谓青不得已而为人所喜，亦将不得已而为人所祸者矣。为青计者，自宜退避事权，以止浮议。而青本武人，不知进退。近日以来，讹言益甚。或言其人身应图谶，或言其宅有火光。道路传说以为常谈矣，而唯陛下犹未闻也。且唐之朱泚，本非叛者。仓卒之际，为军士所迫尔。大抵小人不能成事而能为患者多矣。泚虽自取族灭，然为德宗之患亦岂小哉？夫小人陷于大恶，未必皆其本心所为，直由渐积以至蹉跌，而时君不能制患于未萌尔。故臣敢昧死而言人之所难官者，唯愿陛下早闻而省察之尔。如臣愚见，则青一常才，未有显过，但为浮议所喧，势不能容尔。若如外人众论，则谓青之用心有不可知者，此臣之所不能决也。但武臣掌机密而为军士所喜，自于事体不便，不计青之用心如何也。伏望圣慈深思远虑，戒前世祸乱之迹，制于未萌。密访大臣，早决宸断，罢青机务，与一外藩，以此观青去就之际心迹如何，徐察流言，可以临事制变。且二府均劳逸而出入，亦是常事。若青之忠孝出处如一，事权既去，流议渐消，则其诚节可明，可以永保终始。夫言未萌之患者，常难于必信。若俟患之已萌，则又言无及矣。臣官为学士，职号论思，闻外议喧沸而事系安危，臣官狂计愚，不敢自默。