汪直既在大同不得还，各道言官纷纷上疏奏其办事苛察纷扰，内阁首辅万安上疏请罢西厂，在一片反对声中朱见深同意，裁撤西厂，文官集团计谋得逞。
到了六月，虏寇入延绥，汪直王越分兵抵御，又获大胜。
汪直越是在边关打胜仗，朝堂上的这些文官就越难受，底下小动作不断，暗中游说边关的许多将士，故意怂恿一些官员犯错，让汪直上当，只要汪直处理了这些官员，等被处理的官员多了，就会营造一种假象，让朱见深上当，到时只要一个奏折，看吧，汪直在边关，天高皇帝远，拥兵自重，独断专行，边关将士深受其害。
果然汪直没文化，年纪又轻，这种高深莫测的计谋还是上当了，万安等人担心王越有智计，恐诱汪直求复进，于是奏请王越与延绥守将许宁换防。把王越跟汪直分开。同月，汪直上奏弹劾副总兵朱鉴等人玩忽职守，以致虏寇入境杀三十四人而去。
汪直上奏，左参将卢钦、右监丞杨雄等人不能御虏，以致敌寇多次入境杀掠人畜，又隐匿不报，论法当究问，并自劾不能节制之罪。同月，汪直又驰书上奏，有自虏中逃回的人传报鞑靼可汗小王子打算纠结大军来犯，恐寡不敌众，请求令旧日所统的京军头目赶赴支援，兵部不允。到了六月，巡抚郭镗上奏，汪直与总兵官许宁共事以来，互生嫌隙，不相和协，并列举了近乎胡闹的五件事为证，一，汪直上厕所不带纸，吩咐许宁在外伺候。二，汪直唆使下人在许宁屋外扮鬼吓唬，三，汪直睡觉不穿衣服，要是有敌偷袭怎么办？四，汪直伙同他人，晚上不睡觉，在营房吃喝。五，汪直在街市吃饭不给钱。表明两人基本上是水火不容。鞑靼大军转瞬即至，恐会败事。
这种无中生有的事多了，最后朱见深也烦了，于是朱见深调汪直于南京御马监。这一下中可以了吧。
可是到了八月，降南京御马监太监汪直为奉御（六品），除威宁伯王越，安置安陆州，革南京工部尚书戴缙、锦衣卫带俸指挥吴绶职，俱原籍为民。
又到了九月，右都御史李裕等奏，汪直获罪，犹有未满者，希望把被汪直排挤的官员们官复原职并赐召还。
看到了吧，这才是目的，文官集团开始反击了，朱见深这才回过味来，以事已处分，李裕等烦扰，而且有的人不是汪直诬陷的为由，命锦衣卫把领头的御史下狱拘问，并停了都察院右都御史李裕、右副都御史屠滽俸禄半年。
<bC/> 汪直走后，许宁等人消极抵御，后又中了小王子的诱兵之计，明军死伤数千人，差点丢掉了大同。大同败仗泄露，朱见深大怒，命锦衣卫执大同总兵许宁、巡抚郭镗、镇守太监蔡新于午门前门，后免了他们的死罪，改为各降官六级，永不起用。
朝中这些朝臣都知道败在不该调走汪直和王越，害怕朱见深责怪，只推说是因为调兵未集，与满朝科道官一起把败仗瞒了下来。直到一年后，终究人心不平，才有人将实情报给了朱见深。
汪直终究只是一个宦官，无根之人，就当汪直查办的都是一些该查之人，在文官眼中也是错，如果汪直换成是进士出身，有这样的成就，就不会成为“文人”眼中的“奸贼”。看看这有多恨啊。可惜历史的记录是有文官来完成的，想把你写成什么样就是什么样？这汪直还能好吗？
此后，史书上就很少有关于汪直的记载了，只有零星提到。弘治元年，南京户部员外郎周从时上奏说应追究前朝遗奸汪直、钱能等人，抄其家以济边用，孝宗以奏疏格式不对为由将周从时下狱不久又放出，原来奏请的事也不了了之。
弘治十一年左右，孝宗召回汪直、梁芳等人，满朝哗然，吏部员外张彩愤而弃官。此是后话。