岳飞初平襄汉六郡，宰相赵鼎就对赵构说：“湖北的鄂州、岳州堪称沿江战略要地，我请求安排由岳飞镇守这两个地方，不但淮西可以凭借他的声援，湖南、两广、江浙一带也得安居乐业。”赵构深以为然，命岳飞改驻鄂州。自魏晋以来，鄂州城即是长江流域的重要城镇之一，地处今湖北武汉市武昌区老城区一带，是长江与汉水交汇之所，州城西以长江为限，城中山丘连绵。从西面长江边向东延伸，依次有黄鹄山（今名蛇山）、凤凰山、洪山和珞珈山、桂子山、伏虎山、南望山、磨山、喻家山等，山脉绵延起伏，“地居形要，控接湘川，边带汉沔”、“通接雍、梁，实为津要”。
“吴孙权赤乌二年修筑旧垒，谓之夏口城。”这夏口城就是鄂州城的前身，其“依山傍江，开势明远，凭墉藉阻，高观枕流。”经过数百年发展，在北宋年间已跃居长江中游最大的城市，是区域性政治、经济、文化中心。而随着政权南迁，鄂州的重要地位进一步上升，州城不仅是鄂州与江夏县的治所，也成为路级机构所在，原设在江陵的荆湖北路转运司移治鄂州，成为荆湖北路的首府。在驻守鄂州期间，岳飞除了严格进行军队的整编和操练工作外，还在襄阳府、唐州、邓州、随州、郢州、信阳军、复州（治景陵，今湖北天门市）、汉阳军等地安排驻防军队，兴建“山城水寨”，同时，又继承了宗泽的遗志，实施“连结河朔之谋”，和太原、绛州（治正平，今山西新绛县）、怀州（今河南沁阳县）和河东路的泽州、隆德府、平阳府（治临汾，今山西临汾市）等地的义军取得联系，积极为下一次北伐的北伐做准备。
然而，就在各项工作都在如火如荼地展开时，岳飞不期然地病倒了。他得的是眼病。岳飞的病从跟随杜充南撤建康（今江苏南京市）时就有了，可能跟气候有关。南方气候湿热，尤其是夏天，阳光底下，强光耀眼，眼睛容易发炎，而南下六年，每年岳飞都在暑期用兵，所以，每年盛夏眼睛都会发病。发病时，两眼病情严重程度不一，右眼轻，左眼重，岳飞看东西时，不得不右开左闭，久而久之，人们称之为“大小眼将军”。
绍兴五年（公元1135年）六月，岳飞病势加重，“两目赤昏，饭食不进”，“四肢堕废”，这种情况下，显然不再适合执掌兵权了。于是，他第一次向赵构提出了辞职，理由是：以带病之躯执掌兵柄，关系到国家的生死存亡，如果贪图荣华富贵，恋栈不去，势必耽误恢复故疆大计。
赵构对岳飞越来越倚重，怎肯由他退隐？断然拒绝。他的回答是：岳爱卿肩负上游军备，责任重大，正应该激励忠愤之心，一雪国家大耻，帮助我建成大功，不许退休！岳飞勉为其难，只好收回了申请。因为没能解除兵权，绍兴十一年宋金议和，赵构为了解除一切可能会形成对自己皇权的威胁，残杀了岳飞。议和成功后，赵构亲率文武百官在临平镇奉迎从金国归来的母亲韦氏及赵佶的棺椁。韩世忠也随驾而行。韦氏见了韩世忠，惊奇地说：“你就是韩将军吗？我在北方久闻你大名了！”
韩世忠“尝中毒矢入骨，以强弩括取之，十指仅全四，不能动，刀痕箭瘢如刻画。”韦氏见了，唏嘘不已，慰劳再三。韩世忠答道：“吾以布衣百战，致位王公，赖天之灵，保首领得以保全，已无憾事了。”韦氏然后又扭头见：“怎么没见到大小眼将军（指岳飞）？”一句话，在场的人无言以对。经过了好一阵尴尬，才有人悄悄地告诉她说：“岳飞已经赐死了！”