李白出蜀的真正原因，一直是个秘密。终其一生，尽有无数胸臆之语可向天下人敞说，略无遮掩；唯独在突然之间抛弃了一切，仗剑辞乡，去不复顾，似乎全无根由——那是吴指南从故宅赶了一匹五花马来的当日，赵蕤于一箭之外影影绰绰看见了，想起七年以前与李客熝牛头夜话的那回，的确好像见过这马一回——它原本身色棕红、鬃色碧绿，蹄色乌黑、额色雪白，体躯肥大，却弹步轻盈。它应李客的呼啸而来，片刻飞奔十余里，伫立着守候李客，还不时流露出顽皮不驯的小驹之性。
于兹七年之后，这马益见壮硕，鬃毛也变得鬈曲深密，依然背无鞍鞯，口无衔辔，性情却沉着稳适得多。吴指南引马就路旁随手一指，那马也乖顺，便于指处站定，偶尔趁风动摇几下尾巴，别有一份意态自如的从容老练。
吴指南并非无端而来。除了马，还有一肩行李。他把行李也齐整地堆置于道旁，仔细看了看阴蒙昏灰的天色，指沫风干，想想一时之间，或恐还不至于落雨，才三步并两步跑来，呼叫着“神仙”、“李十二”。
很难说李客是由于难题棘手而诚心求助，或者是他想借机验看李白究竟能否成材？总之，吴指南带来了让李白措手不及的消息——大明寺僧慈元忽然死了。
有一个到处流传，可是言者人人惶怖不安、宁可信其无的谣言，说慈元是“代死”；其所代者，便是绵州刺史李颙。
李颙自从上表举荐，而赵蕤、李白师徒“不就”之后，不但不沮丧懊恼，反而松了一口气，省操一份心；自然也愈益敬重这“赵征君”了。根据他自己散存的几首记事之诗所载，就在李白去来成都、峨眉千里之行的一两年间，他至少两度造访赵蕤，至则“通宵谈饮，缀诗不歇，极尽欢噱”。
忽一日，刺史心念偶动，随手扔下公事，就要微服易马，前往大匡山找赵蕤作诗去，衙中别驾、司马苦劝而不止，料是天意得知，忽而从乌何有之乡闯来一人，名叫张夜叉。这张夜叉披头散发，肩立鹦鹉，狂歌终日不息，这一日偏就横身卧在刺史马前，像是醉倒了，又像是疯魔了，满口滥说胡话，招来更多闲人围聚，刺史就更出不了署门外大街了。可是，人们不大敢驱赶张夜叉的道理也很实在：他不胡说则已，一旦说了，语便成真。
这一天，张夜叉说的是：“太守向是风雅人，尽说风雅话，张夜叉给太守送行，就学太守说四句吧？——太守莫出门，出门死太守。山留一世青，家有无涯寿。”
李颙留心民事，早闻听人说张夜叉有前知之能，听见这话也的确有些悚然。然而继之一转念：某身为一州之牧，位列诸侯，不能够禁绝邪神淫祠之属，已经俱现柔懦了，如今教这无赖汉子挡马即止，日后还能有什么颜面、有什么清望？想着，扬手一鞭，马蹄便向张夜叉踏了去，一踏扑起了一阵黄埃灰土，空中只一鹦鹉盘旋数匝，嘎鸣而去。
此后之事，俱在李颙诗自注之中。这首诗的题目是《匡山夜吟继赴大明寺有怀寄赵征君》，主旨乃是借由西晋时张翰忽然弃官的故事，来隐喻自己逃脱公职、作一日游的心境。
秋风召我入匡庐，系马鞯缨缀酒壶。隐约浮词与君共，微闻高鸟向人呼。去来归意分明在，多少名心逐渐枯。十里灯檐惊呗早，轻云渡得此身无？
秋风之思，向出张翰。张翰字季鹰，曾任齐王司马冏东曹掾，《世说新语·识鉴》说他在北地洛阳任官时，有感于秋风之起，而强烈地思念故乡吴中盛产的菰菜、莼羹、鲈鱼脍，于是跟人说：“人生贵得适意尔！何能羁宦数千里以要（按：要，即邀，贪取的意思）名爵？”遂命驾而归。不多久之后，齐王败于司马乂而被杀，当时人都以为张季鹰有“知机”之能。
匡庐，本来就是指庐山。李颙借用这个现成的词，拆其字意，说的是赵蕤所隐居的大匡山室庐，也是诗家惯技。从诗的内容可以看出：这一天他乘马登山，还携带着酒壶，为的是去和赵蕤商讨诗句。诗意所系，应该就是不耐为官的心情。这一场诗酒之会，或许在上半夜就结束了，揆诸常理，李颙应该不方便留宿，所以到了下半夜，便策马告别，独自前往北山之邻的大明寺借宿。
由于到时尚属夜分，天色未明，佛子勤劬诵经，其声远传不绝，而令李颙忽生翩翩然遗世独立之感。而在诗后小注之中，则提及了张夜叉行前示警，以及他当夜在大明寺的遭遇。
李颙今夜将到寺留宿，是他过访赵蕤的惯例。不消说，早就有刺史衙署之人先行通报，并且预为打点。不料李颙才片腿下马，就一溜身顺落倒地，死了——唯独心头尚余一点温热。
大明寺常住一向知道慈元与赵蕤、李客等人熟识，这一夜便遣慈元为使君知客。这份差使，在百丈怀海禅师为普天下丛林制订清规之前，名目无数，蜀中各寺多称为“知客水火”，也就是专为贵宾打理膳食，侍奉浆粥。
正在忙碌着水火之事，慈元忽然间听说刺史死于马下，便连忙趋至厩前，俯身察看，还期期艾艾地吩咐随侍的净奴道：“使君心头犹热，去取药酒怀中热罨来！”两句话说完，又轻轻“噫”了声，居然也一头栽倒，跟着死了。
热罨是急救之法，片刻施之，果然奏效。李颙悠悠然醒转了来，第一句话竟然是：“和尚怎地去得恁快？”
眼前除了倒地不起的慈元之外，只有李颙公廨里的参军、从人以及取药酒来推拿热敷的净奴，并无其他和尚。又过了不多时，寺中维那僧也来了，一路慌慌张张地问道：“慈元无恙否？慈元无恙否？”及至看见慈元倒卧在地，全没气息，浑身透凉僵硬，这才叹道：“果然！”
原来李颙一蹶如梦，梦中走在一片荒原曲径之上；但见道旁一僧，手拄锡杖，待他走近时，突然合掌一揖为礼，道：“使君且留步。冥司有急敕来，谓使君尚有一卷诗文未完，此累世债，须尽偿之乃已——此行，且付贫道代劳可矣。”
此外，大明寺的维那僧亦有所见——顷刻之前，他还在堂上指点新僧诵经，忽然看见正殿旁闪过一条缁衣人影，心想：时过寅初，岂容支离院僧夜行？遂赶紧奔逐而出，追随那身影绕过两个院落之后，才发现是慈元。慈元为维那僧所阻，不得已而转过身来，面色煞白，神情哀戚，道：“已代李公大使死矣！某本佛图户贱民，难得遂此功果，几般盘算，实胜在世清修，也便去了！”
维那僧但感身受寒凉，再上下打量慈元的容色，的确没有半点活人气息，便问道：“既云已死，可有遗言嘱托常住？”
“小僧近佛日浅，俗心难化；贪嗔不去，惭愧已极，岂敢遗言以累道侣？唯代使君死，彼亦当有深恤。可尽付常住，以充佛前供养。”
慈元所交代的，也只能算一半实在——李颙得此代命之人，在一夕间翻死转生，既受了惊吓，也得了了悟。不久之后，他还真效法张季鹰飘然辞官，身归故里，行前并捐输大明寺数十万宦囊所蓄，而留下了“一官何所有？半卷再生诗”的句子。
至于慈元，却还有一半不算老实的隐私——他多年来在寺外与李客共营生计，不论放贷、质押，以货以银，私贮也不下数十百万钱；这些，他都严口吞声，没半句吐露。
但是，依《匡山夜吟继赴大明寺有怀寄赵征君》诗后小注所记，慈元还是有舍不下的眷怀，见官不得不诉——就在李颙一蹶奄逝之后，“见一僧来，云：‘贫道自有手实记账；今代使君死，匆匆不及治，奈何？’”
此处所说的“手实”，原本是唐人编户齐民的载录，民户自操，是一部官署核实年籍丁亩的凭据，上面不但注记了各人应服课役，往往细举积欠，谓之“记账”。此账三年一修，确保有“国人”身份者都能完粮纳税，也服事了应该从公的劳力。和尚是方外人，有度牒，自然不会成家户，也就不会拥有“手实”，但是慈元声称“自有”，意思很明白了：他在世上仍有未了的债务。既有代死之说，李颙当然不好峻拒：
“予曰：‘可代治乎？’僧曰：‘可。贫道于昌明李客处寄资百万，非可语人，心实苦之。果索得而为营斋奠，期不复堕奴身，于愿足矣。’予曰：‘和尚亦有放不下物？’曰：‘未拿起，如何放下？’”
在李颙而言，这一段记述仅付笑谈，不外唐人风趣。显然，他日后并未认真为这个代他而死的和尚追讨逋余，营奠营斋之事，想来是这刺史“去来归意分明在，多少名心逐渐枯”的彻悟之后，自捐所有而偿之。真要追问起令慈元一死不能或忘的这笔钱，居然在三五年间“辗转散来东海道，间关接济维扬人”，都结化了无情因缘——此是后话。倒是从张夜叉阻马到慈元代死的情节，日久而讹生，后来被人系于剑南节度使章仇兼琼之身，大约也是因为章仇兼琼名爵高显、动见观瞻之故。
慈元之死，可比江涛滚滚，留在世上的浮沫泡影仅此寥寥数十字，甚且连个名字都未曾记得。为李白带来这死讯的吴指南也就当是一则闲话表过，他来大匡山，其实另有差遣在身。李客嘱他伴送马匹囊橐来，是要李白出一趟远门——分别前往九江和三峡，为一兄一弟各发付一份资财。这事来得突然，李客还相当罕见地给了吴指南一份酬劳，指使他陪着李白同行。
吴指南看来意趣盎然，简直就想即刻动身。李白一则对远游感到兴奋又彷徨；一则顾虑着大匡山上再没有人陪伴赵蕤，忽而替他感到冷清，反倒有些不安。
而赵蕤却有不同的想法。他沉吟了好半晌，才招呼吴指南，把马匹沿坡拉到子云宅后的槽上去，囊橐也搬进了相如台，这就意味着不让来客说走就走了。
“出蜀非同于游眉州，”赵蕤双眉拢攒，又来回踱步，逡巡良久，才转向吴指南道，“此去万里，须得计议——李商另有吩咐否？”
“只说‘神仙自有安排，听凭所嘱’。”
赵蕤闻言，点点头，回眸看一眼李白，忍不住笑道：“前此往西南一游，所嘱于汝，尚能记否？”
李白道：“敬领所教三事：‘见大人，须防失对；见小人，须防失敬；见病人，须防失业。’”
赵蕤捋了捋胸前长髯，放声笑道：“一旦出，果若何？”
李白低下脸来，不作声了。赵蕤的嘲谑并非无的放矢——金堆驿上一剑招摇，差不及分寸便招惹了驿卒之祸；至于干谒苏颋，则空领两句不着边际的“若广之以学，可以与相如比肩矣”的嘉勉，看来都难说没有“失敬”、“失对”。更不堪的是，一年多行脚所过，到处有人争传李白医道高明、药膳精到，这就更违背了“须防失业”的世故用心。这也是他飞扬浮躁，不能谨恪沉静的个性使然。赵蕤还不放过，接着道：
“一事不记，倒也好！汝初来时自道，写诗恰是随意，皆不落题目；看来汝一生行事，亦复如此。”
说到这里，赵蕤一副庞大伟岸的身躯像是忽然松垮了下来，颈一垂，肩一沉，双瞳黯然。可是，这神情也只一瞬即逝，他登时挺直胸膛，抖擞衣襟，转身朝厨下走去，一面走，一面哑着嗓子道：“犹记初会之夜，某有新酿浊酒一壶，俱付汝等饮尽，而今此酿瓮中老矣，宜再与汝等共之。”
这一瓮酒，让李白和吴指南醉而复醒、醒而复醉，不能数计日夜；而赵蕤显然有意如此。连朝之筵，赵蕤似饮而未饮，不醉而若醉，随着两个少年漫天漫地说些胡话，数落着或恐有凭、或恐无据的见闻，说来不外家常，东一句西一句，恍如畴昔所经历过的任何一个平凡朝夕。
语既不经心，意遂无所留；直到不知过了多少时日之后，李白在出峡舟中与吴指南对饮而微醺的那一刻，回眼看见船后以缆索网绳兜缚着的马匹，在风中龇牙咧嘴，喑喑欲鸣，瞪着一双铃大的眼睛，像是怕惊扰了正在撼摇着天地的山影江声，而不敢妄动。那马儿的神情，直似不断地将心中千言万语，咀嚼吞咽，决意不向迎面扑来的风涛吐露。李白这才忽然想起来，遂叫道：“神仙用心如此！”
吴指南无论身在何处，遇酒只是傻饮，当然不会知道李白的话，便混混沌沌地四下张望，但见舷窗外山青逆溯，江碧回澜，一舟如箭，迳随波势向东急发，哪里有什么赵蕤的形影？便问：“神仙也来了？却在何处？”
李白并不答话，他的了悟，只能自己品尝——
那是在席间，赵蕤曾经没头没脑地问道：“前番游历，汝父倩大明寺僧具骡车一驾随行；今日则为备一马，可知用意？”
李白不意有此问，想了想，只道：“车驾负载沉重，是耶？”
说也奇怪，赵蕤看似正襟危坐地提了一问，答时却乱以他语，当下举了举杯，道：“钟仪、庄舄之徒，下士也！不足以言四方之志。一俟风埃扑面，即知胡马噤声。汝自体会，乃不至忘怀。”
钟仪，春秋时人，其人其事具载于《左传·成公九年》。说的是晋景公观兵于军府，看见一个戴着楚国帽子的军犯，便追问来历。从人报之以：“郑人所献楚囚也。”晋景公把这楚囚召唤了来，盘问姓氏、职司，知道他世代为楚宫琴师。问他能奏乐否？钟仪回答：“乐工既是先父的职守，也是我的专职，岂敢有二事？”
晋景公于是遣人给了钟仪一张琴，使操其乐；果然所奏即是“南音”。晋景公这时多问了一句：“知道贵国之主究竟是个什么样的君侯吗？”
钟仪相当谨慎地回答：“这不是我等小人该问的事。”可是晋景公执意要问，钟仪对答如此：“但知吾君为世子时，有师、保等大夫侍奉教诲，朝有婴齐、晚有子反，这些都是贤臣——至于其他，小臣我就不知道了。”
这一番答问传到了晋国大臣范文子耳中，以为所言不背根本、不忘故旧，也不存心阿谀，堪称忠信敏达，于是晋景公也就听从了范文子的建议，不但释放了钟仪，还差遣为专使，回楚国去促成与晋国之间的交好。
庄舄，是越国人，其事则见于《史记·张仪列传》。纵横家陈轸与张仪同事秦惠王，张仪以陈轸曾经“重币轻装”，出游于秦、楚之间，形迹有通敌之疑。秦惠王追问陈轸，陈轸竟不掩饰，并且转述了越国人庄舄的故事。
越国人庄舄游宦到楚国，担任“执珪”之官，却忽然生了病。楚王遂同臣子们议论此事：“庄舄在越国，是个低贱的小人物；到了楚国来，官爵显要了，贵富了，他还会想念越国吗？”这时，楚王身边有一随侍的近臣上前应道：“凡人之思故，在其病也。彼思越则越声，不思越则楚声。”楚王派遣人去窥伺，果然发觉病中的庄舄不意间所说的，还是家乡越国的话。
陈轸举庄舄为例，意思就是说：“臣去秦就楚，其情犹如庄舄。不能不牵系根本。”这话说得实在，也将就着庄舄的故事，赢得了秦惠王充分的信任。此后，无论是王粲《登楼赋》“钟仪幽而楚奏兮，庄舄显而越吟”，或是李白《赠崔侍御》“笑吐张仪舌，愁为庄舄吟”、杜甫《西阁二首》“哀世非王粲，终然学越吟”，皆用此事。
不过，当李白在行舟之中看那马瞠目吞声的模样，忽然天清地澈，万端了然，原来赵蕤千言万语都不交代，就是要让他自己体会：这一趟出游，不会有归期，也不会有回头之路。所谓“胡马”，不外是“胡马依北风”，自然是指恋家之思，尽管如此，可是他却不能学钟仪、庄舄——那种人在赵蕤这般彻底的纵横之士看来，只不过是“下士”而已。
赵蕤这一番不动声色的提醒，果然较之于谆谆切切的耳提面命益发受用。李白停杯远望，凝思良久，把许许多多的人生碎片都串结起来。他惊觉那一次醉态可掬的赵蕤并没有荒唐其言，他每一句看似枝蔓无根的谈话，都暗藏机栝，互成结构，一旦想起了其中之一，其余便亦铺天盖地连缀而来，的确让李白于回味中“自体会，乃不至忘怀”。
就在嘲弄了“钟仪、庄舄之徒，下士也！”之后，赵蕤忽然状似不经意地举杯问李白：“下士闻道而大笑，何解？”
这是老子《道德经》第四十一章上的一段话：“上士闻道，勤而行之；中士闻道，若存若亡；下士闻道，大笑之。不笑不足以为道。”是在引申前文“反者道之动”的意思。老子自有对于上、中、下士的等差之见；以为“下士”由于见识浅薄，根本不明白真正的道体道用为何物，一旦接触了道，便以为荒诞不经，便大笑起来。反而言之：唯其因为“下士”之笑，也就显现出道的高深了。
李白依本义答了。赵蕤却立刻道：“某既云：钟仪、庄舄为‘下士’，则钟仪、庄舄所笑者何？”
这是一个尖锐的冲撞——钟仪、庄舄之念旧、思乡，或许出于私情；但是在儒家史传经典的教训里，心系故国不只是个人的情感，更是不可撼摇的伦理，甚至就是“道”的具体实践。从这一方面说，则钟仪、庄舄不但不是“下士”，还应该被许为儒家的“上士”——他们惓惓孤忠，耿耿不忘，一生“勤而行之”的，不正是对生身家国的眷恋和爱慕之“道”吗？
一旦从这个儒家之“道”来看赵蕤，其论势斗术，非君无父，反而注定要成为正统士君子眼中的“下士”。可是，在一个游心于广宇、骋怀于天下，从根柢之处不以闾阎乡党为念的纵横家眼中，“道”却超越了家与国之间的种种联系；赵蕤所追问的，乃是：当举世都推崇着钟仪、庄舄那样的士君子的时候，被目为“下士”的纵横家如何自处？
“某既笑钟仪、庄舄为下士；则钟仪、庄舄亦必笑某为下士。”李白嗅出其中仍不免是那正反相对之论，一时难以取舍，只能勉强拾了句孔老夫子的话应道，“道不同，不相为谋。”
赵蕤为每个人再斟上酒，也捡起一句夫子牙慧追问：“彼之道便取那‘在邦无怨，在家无怨’；则汝之道又如何？”
“在邦无怨，在家无怨”是孔子回答仲弓问仁的话，赵蕤用此语，不外就是暗示：钟仪、庄舄乃是“邦”与“家”的囚徒。
“某之道——”李白忽然想起来了，应声答道，“神仙曾经说过的：‘身外无家’！”
“汝得之矣！身外无家，以为天下事也。”赵蕤放怀笑了，随即一口饮尽杯中之酒，复道，“某这也是‘下士大笑’！”
舟行顺流，江水滔滔，李白怔怔地望着那匹渐惯于风浪颠簸而安静下来的马，彻底明白了赵蕤的意思：从此以往，一身所及者，唯天下耳。
这是一次彻底诀别的浪游，与先前的锦城眉山之旅是多么的不同。他不能再作居乡之吟，不能再有归乡之思，甚至不能再图返乡之计。因为唯有在人世间彻底抛开了他作为一个商人之子的身份，他才有机会成为大唐帝国万里幅员之中的一个全新的人。
说是诀别，也就像月娘乍别匆匆之言：“天涯行脚，举目所在，明月随人，岂有什么远行？”李白告诉自己：世上没有真正的远行；若有，便是在分不清前浪后浪、此水彼水之间，抛开每一刹那之前的那个故我而已。
两年以后，他在扬州逆旅中卧病，平生首度以为自己即将死去，因而写下了《淮南卧病书怀，寄蜀中赵征君蕤》；这是他写给赵蕤的一封信，也是唯一的一首诗：
吴会一浮云，飘如远行客。功业莫从就，岁光屡奔迫。良图俄弃捐，衰疾乃绵剧。古琴藏虚匣，长剑挂空壁。楚怀奏钟仪，越吟比庄舄。国门遥天外，乡路远山隔。朝忆相如台，夜梦子云宅。旅情初结缉，秋气方寂历。风入松下清，露出草间白。故人不可见，幽梦谁与适。寄书西飞鸿，赠尔慰离析。