嘉靖三十三年，居正请告归江陵，暂时脱离了政治生活。在这一年，俺答还是不断地向大同进攻。东南方面，倭寇的侵扰更加积极。由太仓溃围的残贼，夺海船再入江北，大掠通州、海门、如皋这一带，前锋直到山东境上。江南一带、海盐、嘉兴、嘉善、松江、嘉定，到处都是倭寇。总督浙福南畿军务张经和巡抚浙江副都御史李天宠正在积极地堵御。到冬天，严嵩的义子赵文华上奏，倭寇猖獗，请祷祖东海，镇压暴寇。异想天开的对策，从专事斋醮的世宗看来，正是合理的策略。赵文华奉命南行，沿路骚扰，一面上疏弹劾张经，不肯办贼。张经正在调兵杀敌，等到三十四年五月在王江泾大破倭寇，斩贼一千九百的时候，赵文华上疏的结果也揭开了。张经被逮入京，不久李天宠也被逮，十月间，二人弃市，附带着杨继盛也趁此被杀。弹劾严嵩的和不善伺候文华的，得到同样的结果。这是当时的政治。东南方面和西北方面的敌人同时进攻，这是当时的情势。这一个有抱负、有主张、有办法的三十岁的青年，已经退出政治生活，在诗酒往还中消磨他的岁月。
居正《先考观澜公行略》，自称“甲寅，不肖以病谢归，前后山居者六年，有终焉之志”。六年指从嘉靖三十三年到三十八年为止，只是一个大概的计数。其实三十六年，居正已经销假。《种莲子戊午稿序》(1)称“往甲寅，不佞以病谢归”，又称“丁巳，不佞再泰朝列”，可证。实际上三十三年至三十六年，居正整整度了三年的悠闲生活。三十七年便道归家，大致三十八年仍回北京，连同以前的时期，称为前后山居者六年。
敬修《文忠公行实》对于前期三年的生活，有以下的记载：
三十三年甲寅，遂上疏请告。既得归，则卜筑小湖山中，课家僮，插土编茅，筑一室，仅三五椽，种竹半亩，养一癯鹤，终日闭关不启，人无所得望见，唯令童子数人，事洒扫、煮茶洗药。有时读书，或栖神胎息，内视返观。久之，既神气日益壮，遂博极载籍，贯穿百氏，究心当世之务。盖徒以为儒者当如是，其心固谓与泉石益宜，翛然无当世意矣。
周圣楷《张居正传》亦称“终日闭关不起，人无所得望见，久之，益博极载籍，通当世之务”，当然是根据敬修之言。《明史》本传对于此节，完全略去。其实居正的生活，并不这样恬淡。诗集、文集里面，留下许多断片，我们可以看出他怎样消遣岁月。
在这个阶段里，他有过许多的游宴，最后在三十五年游衡山，生活中有过不少的波澜。但是最使他关心的还是整个的政局。《登怀庾楼》(2)有这几句：
但恐濛汜夕，余光不可留，风尘暗沧海，浮云满中州。目极心如惄，顾望但怀愁，且共恣啸歌，身世徒悠悠。
这是热中。居正对于整个的政局搁不下：自己没有机会把握政权，但是眼看政权落在人家手里，国家踏上不幸的命运，真是万分的不甘。《修竹篇》(3)又说：
永愿老烟霞，宁知劳岁移，但畏伶伦子，截此凌霄枝，裁凿岂不贵，所患乖天姿。亭皋霜露下，凄其卉草衰，愿以岁寒操，共君摇落时。
这好像是恬淡了，然而还是热中。历史上的政治家，常常在热中的情绪上，蒙上一层难进易退的色彩。其实真真有抱负的人，用不到这样地做作。长沮、桀溺耕田的时候，看到子路，桀溺只顾讽刺孔子，孔子怅然地说：“鸟兽不可与同群，吾非斯人之徒与而谁与？天下有道，丘不与易也。”他说既然是人，便得为人类谋幸福，孔子决然不肯和长沮、桀溺那样做个辟(4)世之士。这是孔子的热中。热中不是一件不能告人的事，用不到讳饰。居正也是不容讳饰的热中。他曾说起：“当嘉靖中年，商贾在位，货财上流，百姓嗷嗷，莫必其命，比时景象，曾有异于汉、唐之末世乎？幸赖祖宗德泽深厚，民心爱戴已久，仅免危亡耳！(5)”这是怎样的景象！在这个时期，自负清流的君子们，也许只是优游林下了，偏有不辞赴汤蹈火的人，纵在林下，还是不断地怅念，他的热中，还不值得后人同情吗？
居正又有闻警一首(6)：
初闻铁骑近神州，杀气遥传蓟北秋，间道绝须严斥堠，清时那忍见毡裘。临戎虚负三关险，推觳谁当万户侯？抱火寝薪非一日，病夫空切杞人忧。
三十四年九月，俺答犯大同、宣府，十二日后，进犯怀来，北京戒严，这首诗大致指此。国家已经乱到这个地步了：皇帝在那里斋戒祷告，祈求长生；商贾式的严嵩在那里继续“货财上流”；清醒的徐阶只是束手无策，把整个的心力，精治青词，逢迎帝心。居正在朝也没有办法，何况在野！他的心绪，只向诗集里倾泻，最沉痛的是一篇七贤咏叙(7)：
余读《晋史·七贤传》，慨然想见其为人，常叹以为微妙之士，贵乎自我，履素之轨，无取同涂，故有谤盈于一世，而独行者不以为悔，沈机晦于千载，而孤尚者不以为闷，斯皆心有所惬，游方之外者也。夫幽兰之生空谷，非历遐绝景者，莫得而采之，而幽兰不以无采而减其臭；和璞之蕴玄岩，非独鉴冥搜者，谁得而宝之，而和璞不以无识而掩其光。盖贤者之所为，众人固不测也。况识有修短，迹有明晦，何可尽喻哉？今之论七贤者，徒观其沈酣恣放，哺啜糟醨，便谓有累名教，贻祸晋室，此所谓以小人之腹，度君子之心，独持绳墨之末议，不知良工之独苦者也。尝试论之。《易·翼》有言：“天下同归而殊涂，一致而百虑。”故语默不同，其撰一也，弛张异用，其旨归也。巢、由抗行，稷、契宣谟，并容于尧代；箕子佯狂，比干死诤，俱奖于宣尼，岂有异议哉！余观七子皆履冲素之怀，体醇和之质，假令才际清明，遇适其位，上可以亮工宏化，赞兴王之业，下可以流藻垂芬，树不朽之声，岂欲沈沦滓秽，无所短长者哉！
等待吧，到了“遇适其位”的时候，居正决定要做出一番大事业。为国家致太平，为个人求不朽，一切都待着适当的时机。
但是嘉靖三十三年，居正已经请告回籍了，国家大事，只有交付给“货财上流”的政府，他自己正准备做一个“沉沦滓秽”的人物。在朝廷大政没有清明的时候，要在外省找一片干净土，事实上不可能。地方行政，永远是中央行政的反映，居正没有不知道的。在他回到荆州府以后，他只觉得在明代最初一百年间，荆州的情况还好，但是：
其继也，醇俗渐漓，网亦少密矣，变而为宗藩繁盛，骫权挠正，法贷于隐蔽。再变而田赋不均，贫民失业，民苦于兼并。又变而侨户杂居，狡伪权诈，俗坏于偷靡。故其时治之为难。非夫沈毅明断，一切以摘奸剔弊，故无由胜其任而愉快矣。(8)
事情是显然的：宗藩乱政，当然给宗藩以限制；大地主兼并土地，贫民失业，当然给大地主以制裁；机巧变诈的人多，当然只有痛快地施行法治。一切都在居正的眼里，但是他只是一个在野的人，尽管有加以制裁的决心，但是没有加以制裁的权势。他只有种田了，一篇《学农园记》，写着他的生活：
余少苦笃贫，家靡儋石，弱冠登仕，裁有田数十亩。嘉靖甲寅，以病谢，自念身被沈病，不能簪笔执简，奉承明之阙，若复驰逐城府，与宾客过从，是重增其戾。乃一切谢屏亲故，即田中辟地数亩，植竹种树，诛茆结庐，以惬息其中。时复周行阡陌间，前田夫、佣臾，测土地燥湿，较穜稑先后，占云望祲，以知岁时之丰凶。每观其被风露，炙熇日，终岁仆仆，仅免于饥；岁小不登，即妇子不相眄；而官吏催科，急于救燎，寡嫠夜泣，逋寇宵行；未尝不恻然以悲，惕然以恐也。或幸年谷顺成，黄云被垄，岁时伏腊，野老欢呼，相与为一日之泽，则又欣然以喜，嚣然以娱。虽无冀缺躬馌之勤，沮、溺耦耕之苦，而咏歌欣戚，罔不在是。既复自唯，用拙才劣，乏宏济之量，唯力田疾耕，时得甘膬以养父母，庶获无咎。(9)
田赋以外，还有商税。洪武十八年令：“各处税课司局商税，俱三十分税一，不得多收。(10)”这是一个原则，但是原则是原则，执行是执行，商税的额外苛求，无形转嫁，更加重一般人民的负担。这也在居正的眼中。他说：
异日者，富民豪侈，莫肯事农，农夫藜藿不饱，而大贾持其盈余，役使贫民。执政者患之，于是计其贮积，稍取奇羡，以佐公家之急，然多者不过数万，少者仅万余，亦不必取盈焉，要在摧抑浮淫，驱之南亩。自顷以来，外筑亭障，缮边塞，以捍骄虏，内有宫室营建之费，国家岁用，率数百万，天子旰食，公卿心计，常虑不能殚给焉。于是征发繁科，急于救燎，而榷使亦颇骛益赋，以希意旨，赋或溢于数矣。故余以为欲物力不屈，则莫若省征发，以厚农而资商；欲民用不困，则莫若轻关市，以厚商而利农。
周子曰：“即如是，国用不足，奈何？”
张子曰：“余尝读《盐铁论》，观汉元封、始元之间，海内困弊甚矣，当时在位者，皆扼腕言榷利，而文学诸生，乃风以力本节俭。”其言似迂，然昭帝行之，卒获其效。故古之理财者，汰浮溢而不骛厚入，节漏费而不开利源；不幸而至于匮乏，犹当计度久远，以植国本，厚元元也。贾生有言：“生之者甚少，靡之者甚多，天下财力，安得不困？”今不务除其本，而竞效贾竖以益之，不亦难乎？(11)
居正只是一个在野的人，但是对于政治，他的主张已经很清楚地留下一个轮廓。要解除民众痛苦，便得减轻负担。嘉靖三十年来最大的负担：第一是对外的国防经费；其次是皇宫的建筑。在政治方面有抱负的人，对国防，对皇室，都要有一番布置。居正看清楚了，慢慢地在伺候他的机会。
在他休假三年的当中，辽王宪是一个往还甚密的同伴。真不幸，这两个同年同岁的人，眼看他们的命运，永远纠结在一处。毛妃死了，宪自由了，在辽王的崇衔以外，他是清微忠教真人。这是一重保障，对于崇奉道教的世宗，他是一个彻底的同道。修道只是一个名义，宪最喜欢的还是女人，是游戏。亲王是不许擅自外出的，但是宪有时会到数百里以外，追求他的爱好，谁也管不着。你管得着皇帝的同道辽王殿下吗？居正回家，宪又添了一种欢愉，他虽然不是什么游朋浪友，但是既是翰林院编修，诗是一定会做的了。宪也喜欢作诗，嬲着居正作诗。唱和、催句，凡是酸秀才爱做的事，都做到了。在喝酒、追女人这一类的生活以外，又添一种新的娱乐，这可够宪高兴了。居正数到当日祖父被宪灌酒的创痕，料不到自己又身受这催诗的虐政。一切且忍耐着，他只得抽取空闲的时间，追陪这一个自命曹子建、李太白的辽王殿下。辽王自然有辽王的诗才。居正曾说：
盖天禀超轶，有兼人之资，得司契之匠。其所著述，虽不效文士踵蹑陈迹，自不外于矩矱。每酒酣赋诗，辄令坐客拈韵限句，依次比律，纵发忽吐，靡不奇出。或险韵奇声，人皆燥吻敛袂，莫能出一语；王援毫落纸，累数百言，而稳贴新丽，越在意表，倾囊泻珠，累累不匮。(12)
这是一种讽刺。所谓“越在意表”“靡不奇出”，当然是一种不上家数的态度。但是居正还得和他唱和。一杯苦酒，只得慢慢地咽下。诗集有《同贞庵殿下、李罗村饮述斋园亭》(13)《味秘草堂卷为贞庵王孙赋》(14)《和贞一王孙八岭山韵》(15)《赠贞庵王孙二首》(16)，贞庵即贞一。又诗中屡言“瑶章惊锡蓬莱阙，羽节高悬太乙宫”(17)，“江上初闻小有洞，年来不住大罗天”(18)，显然是指宪。李罗村名宪卿，湖广巡抚，嘉靖三十六年，擢左副都御史，总督湖广川贵，采办大木，开府江陵。
居正文集里有两篇关于辽府的文章：一篇是《辽府承奉正王公墓志铭》(19)，一篇是《王承奉传》(20)。墓志铭是休假中作的，对于宪称为“英敏聪达，才智绝人”。《王承奉传》作时，居正已经还朝了，直言“王聪敏辩给，而嗜利刻害，及长，多不法，常出数百里外游戏，有司莫敢止”。斗争已经开始了，当然用不到讳饰，这是后事。在休假中，居正对宪，还是妥协。对于辽王的不法，一句没有提到。甚至宪的私生子冒充嫡子的事，也没有说。《王承奉传》便尽情地揭露，并且指出在呈报的时候，照例应由承奉正署名，但是在王大用(21)拒绝以后，宪偷偷地把承奉印盖上，其后大用竟因此气死。一切的事，居正在应酬唱和中，都看在眼里。直到隆庆二年，才得到结束。
休假之中，居正曾经一度到过武昌。《贺少宰镇山朱公重膺殊恩序》(22)称“今年愚承乏，与得阳董公偕，得辨材省中”，即指其事。镇山朱公即朱衡，浔阳董公即董份。
最使居正感兴趣的，还是衡山之游，文集有《游衡岳记》《后记》两篇(23)，诗集便有十篇左右。居正自言：
余用不肖之躯，弱冠登仕，不为不通显。然自惟涉世酷非所宜，每值山水会心处，辄忘返焉，盖其性然也。夫物惟自适其性，乃可永年，要欲及今齿壮力健，即不能与汗漫期于九垓，亦当遍游寰中诸名胜，游目骋怀，以极平生之愿。今当发轫衡岳，遂以告于山灵。(24)
这一次的旅行，在嘉靖三十五年十月，同游者有应城李义河、湘潭王会沙、汉阳张甑山，山中盘桓八日，下山后遇长沙李石棠。他们看到岳庙、半山亭、祝融峰、观音岩、上封观、兜率寺、南台寺、黄庭观、方广寺、二贤祠。录两诗于次：