我曾见廷尉郭禧忠纯笃厚，年高有德；光禄大夫桥玄聪明通达，端平正直；前太尉刘宠忠诚老实，笃守正道，都应成为主政之人，陛下应多向他们征求意见。宰相等三公大臣是君王的四肢，应委以重任。不应再听信小吏的谗言，罗织大臣的罪状。同时，宫廷百工技艺，鸿都门学校创作辞赋篇章，也应暂时停止，以示专心国家忧患。出任州刺史、郡太守的孝廉，本该是读书人中的优秀人才。近来却推荐征召不当。只因写了一篇小文章，便得越级提拔，因而请托之门大开，违背圣明君王的典章制度，众心不服，却没人敢说出来。我希望陛下忍痛割舍，专心致志治理国家大事，以报答上天的厚望。
陛下既亲自带头约束限制，左右亲近的大臣也应当跟着效法，上下人人谦卑，以堵塞灾祸的警戒，则上天将把灾祸惩罚骄傲自满的人，鬼神将把福佑赏赐谦卑的人。君王和臣属之间，如果说话不能严守秘密，则君王将会受到泄漏言语的指责，臣属将有遭到丧失生命的大祸。请陛下千万不要泄漏我的奏疏，以免尽忠的官吏遭到奸佞恶人的怨恨和报复。”
奏疏呈上去后，皇帝一边观看，一边叹息。后因起身更衣（如厕），中常侍曹节在后面偷偷观看，把内容告诉左右之人，奏疏便被泄露出去。奏疏中，被蔡邕提出要制裁和废黜的人，都对他恨之入骨，图谋报复。
当初，蔡邕与司徒刘郃不和。蔡邕的叔父卫尉蔡质，又与将作大匠阳球有宿怨。阳球是中常侍程璜的女婿。于是程璜便唆使别人用匿名信诬告诬告说：“蔡邕、蔡质多次因私事请托刘郃，都被刘郃拒绝，因此蔡邕怀恨在心，蓄意中伤刘郃”。
灵帝因此下诏，召蔡邕质问。
蔡邕上疏为自己辩白：“我实在是愚昧又憨直，完全没有顾及到日后的祸害。陛下理应垂怜忠臣直言的苦心，加以掩蔽和保护。岂能诽谤一出现，便对我产生怀疑和斥责。我今年已有四十六岁，孑然一身，孤立无援，得以寄托忠臣而显名，虽然身死也有余荣，但恐怕陛下从此再也不能听到真话了。”
但蔡邕与蔡质，还是被押入了洛阳监狱。
蔡邕和蔡质入狱后，有关官吏弹劾说：“公报私仇，企图伤害大臣，犯了大不敬的罪，应绑赴街市斩首弃市。”中常侍吕强怜悯蔡邕无辜，竭力为其求情。皇帝也想起了蔡邕之前奏章上的话，于是下诏说：“减死罪一等，与家属髡钳徙朔方，即使遇到赦令也不得赦免。”。
阳球接连派出刺客，一路追杀蔡邕。所遣刺客皆为蔡邕的大义所感动，不肯从命。阳球又贿赂并州刺史、朔方郡太守，命他们狠下毒手。并州刺史、朔方郡太守非但不从，反将实情告诉蔡邕，让他小心戒备。蔡邕这才得以死里逃生，转逃五原郡安阳县。
其后不久，皇帝怜蔡邕高才，便自食其言，赦免蔡邕，准许他返回原籍。蔡邕从放逐到被赦免，不过短短数月。
蔡邕准备启程回乡，五原太守王智为他送行。酒过三巡，王智起舞劝蔡邕，蔡邕不理。王智是中常侍王甫的弟弟，本就骄贵，丢了面子为宾客所笑，便破口骂蔡邕：“罪犯也敢轻侮我！”
蔡邕闻言，振衣而去。王智深恨之。于是密告蔡邕心放怀怨，诽谤朝廷。皇帝身边的宠臣，亦纷纷进谗言诬陷。蔡邕害怕无法幸免，于是准备逃命江海，远走吴会之地。
却不料被一封书信，改变命运。