，也最为悲惨。
在胡宗宪被抓走的时候，徐渭一句话也没说，因为他知道，说什么都没用了，事情已经没有挽回的余地。现在他要担心的，是他自己。
覆巢之下，岂有完卵的道理他十分清楚，作为胡宗宪的幕僚，他自然也难逃干系，但更让他痛苦的是自己梦想的彻底破灭。
徐渭是有梦想的，他虽然诗词书画样样精通，却并不想做一个文学家或艺术家，他希望获得功名，成就一番事业，这才是他真正的抱负。
当他成为胡宗宪的左右手，指挥若定，运筹帷幄的时候，他曾一度以为自己的前程将会无比光明，然而转瞬之间，命运却再次将他抛入了深渊。
希望已经落空，加上时有传闻，说要把他抓去跟胡宗宪做伴，徐渭的精神彻底崩溃了，他试图自杀，具体方法如下：
方法1、用斧头砍自己的头。
方法2、用钉子钉入自己的脑袋。
方法3、用锤子锤自己的肚子。
要说奇人就是奇人，自杀也用这么奇怪的招数，但更奇怪的是，虽历经不懈的努力，他竟然还是没有死成，虽然他鲜血满面，长钉入脑，内脏出血，偏偏就是没死，创造了医学界的奇迹。
所以也有人猜测，他不过是为了避祸装疯自残而已，但如果装疯，他的本钱似乎也下得太大了。但总而言之，他吃了很多苦，却还是进了监狱，不过不是被胡宗宪牵连，而是因为杀人。
由于在自杀（或是装疯）中太过卖力，他一时错手，杀掉了自己的妻子，悔恨之余，被当地政府逮捕法办，看在他名气大，加上又是误杀，没有处决他，只是关进了牢房。
这一关就是七年，后来他的同乡听说此事，设法营救，终于让他走出了监狱。
此时已是隆庆年间，天下已然大变，物是人非。五十多岁历尽沧桑的徐渭看上去，似乎比七十岁的老头还要苍老，没有人会想到，这个外表落魄不堪的人，竟然就是当年志得意满、意气风发的东南第一军师。
失去了妻子，失去了前程，连希望也已失去。
于是孑然一身的徐渭开始流浪，他游历国，福建、直隶、山西，然后是蓟州，在那里，他再次见到了戚继光。
徐渭平生为人孤傲，自负奇才，经常蔑视他人，却唯独对戚继光礼遇有加，因为在他看来，此人极其生猛，其才不下于己，所以引为知交。
见到这位久别的战友，戚继光十分激动，他安排了酒宴，招待老朋友，在酒桌上，两人把酒言欢，谈及徐渭将来的去向时，戚继光表示，希望他能留下来，在自己的军中效力。
徐渭却只是笑而不答，戚继光是个机灵人，也就不再提起，徐渭并没有变，虽然落魄，虽然流浪，却依然是那个心高气傲的徐渭。
于是他们说起了另一件事。
话题又回到了当年的平倭事略，精研兵法的徐渭开始畅谈天下名将，在他看来，自嘉靖以来武将堪称杰出者惟三人而已：戚继光、俞大猷，以及谭纶（时任蓟辽总督），其余的皆是泛泛之辈，不值一提。
这里提一下谭纶，此人虽后来的名气不如戚继光，当时却是戚继光的上级，他文官出身，喜好军事，从军三十余年，极有谋略且对敌作战勇猛，每次打仗都要亲自上阵，据统计被他亲手杀死的敌人就多达上百人，可谓是杀人如麻，名将之誉实至名归。
戚继光同意徐渭的说法，却也说出了这样一句话：
“你说得没错，只是在我看来，还有一个。”
第二天，拜别了戚继光，怀着好奇心的徐渭出发前往辽东，他要亲眼见一见那个连戚继光也推崇备至的第四个人——李成梁。
在辽东，徐渭听到了这样一个消息，时任辽东副总兵的李成梁家要请先生，于是他毫不犹豫地前去应聘。
当看到眼前的这个落魄的半老头子时，李成梁差点准备让人给他盛点饭，让他赶紧走人。出于礼貌，他还是极有耐心地询问此人有何专长，能教些什么。
“兵法。”
当这个答案传到众人的耳朵里时，在场的所有人几乎同时哄堂大笑，李成梁也禁不住笑出了声。自己就是武将，还要你这个糟老头来教兵法？
然而堂下的这个人却丝毫不乱，只是静静地看着那些嘲笑他的人。
李成梁却不笑了，因为他突然想起一件事，不久之前，蓟州总兵戚继光曾派人快马前来报信，描述过一个类似的人。
他改变了态度，小心翼翼地问道：
“阁下是从孟诸（戚继光号孟诸）那里来的吗？”
徐渭微微点了点头。
于是李成梁严辞喝斥了那些无礼的部下，问出了第二个问题：
“阁下可是姓徐？”
在得到再次肯定后，他立刻迎下堂来，恭敬地向这位老先生行礼