至正二十三年(1363年)四月，陈友谅亲率六十万大军，自武昌沿长江东下，入赣江包围洪都，以报前仇。七月，朱元璋自率水师二十万，与陈友谅在鄱阳湖展开决战。两军相遇康郎山。陈友谅遣骁将张定边正在围攻朱元璋，忽然被一支箭射中额头，射箭的不是别人，正是大将常遇春。常遇春和俞通海及时赶来，帮朱元璋解围。张定边身负重伤不得不撤退。这时，江水忽然涨潮，把朱元璋的船托得老高，帮他杀出重围。双方一场激战，不知不觉已到日落时分，朱元璋鸣金收兵，并和徐达一同商议。朱元璋说：“我当初让刘伯温守金陵是为了防止张士诚偷袭，眼下强敌未退，你快些赶回去替他守城，让他过来和我一起商议军机！”
刘伯温正在路上时，陈友谅又前来挑衅。朱元璋只好派兵迎敌，可不知怎么的，派出去的部队大多战败而归。正当朱元璋恼羞成怒时，郭兴进言说：“敌舰高大，我们的小船肯定不是对手，目前只有使用火攻！”可朱元璋说，前些时候用的火攻也没见什么成效。这时，刘伯温刚好乘船抵达，他向朱元璋举荐了两个人：一个是铁冠道人张景和，曾经预言过朱元璋必将大有作为;一个是僧侣周颠，博学多才，卓识远见，是刘伯温的良师益友。朱元璋盼来了军师又添两位高人，禁不住心花怒放，立即向刘伯温请教对策。刘伯温吩咐朱元璋暂且退兵，然后使用火攻。朱元璋说：“不少人都提议用火攻，但是陈友谅的船那么多，风势又不稳定，怎么烧得完呢？”这时铁冠道人张景和忽然大笑起来：“你是天子下凡，有神灵护佑，还担心没有大风相助么？”朱元璋追问何时有风，周颠忽然插话说：“今天黄昏就有东北风。”朱元璋觉得两位高人神机妙算，便又追问陈友谅的下场和自己的前景，周颠说：“陈友谅无缘皇帝的宝座，而你固然有灾星临头，但定有贵人相助，不必多虑。”听闻此话，朱元璋心中有了底气，于是吩咐刘伯温跟随自己前去破敌。
到了傍晚，江面上忽然刮起一阵大风。陈友谅正率领士兵巡逻，忽然远远望见江中驶来七艘小船，满载着士兵，于是连忙下令弓箭手射击。可这些士兵仿佛不怕利箭，依然屹立不倒。陈友谅急忙派人登船前去杀敌，走近一看，才发现船上坐的只是一群稻草人。此时，潜藏在船下的勇士，突然点着了船里的硫磺和火药。风助火势，陈友谅的大船纷纷起火，此时，常遇春也带兵杀来，急得陈友谅不知所措。浓烟滚滚，四处弥漫，再怎么勇猛的将士，也敌不过烟雾带来的窒息，陈友谅的弟弟陈友仁和陈友贵先后死于大火。眼看大势已去，陈友谅只好狼狈而逃。
陈友谅逃了一阵，越想越气，决定第二天卷土重来，他发现朱元璋所乘的船桅杆是白色的，于是吩咐手下只要看见白色桅杆的船就发起攻击。可第二天陈友谅赶到前线一看，发现所有敌船的桅杆都是白色，情急之下，陈友谅下令军队全力猛攻。此时，朱元璋镇定自如地在船上指挥战斗，突然刘伯温让朱元璋赶紧换船。朱元璋刚登上另一艘船，只听身后一声巨响，原来的船就被炮弹击得粉碎，瞬间沉没。刘伯温高兴地说：“灾星已经过了，主公尽请放心！”陈友谅听到巨响，以为朱元璋被炮轰死了，便下令退兵。
朱元璋哪里肯让陈友谅大摇大摆地撤退，他命令廖永忠和俞通海驾驶六只小船，悄悄地靠近了陈友谅的战船。小船里的将士飞速地登上了大船，顿时杀声震天，浓烟四起。一面是敌人突袭，一面是大火包围，陈友谅的士兵大多死于非命。陈友谅自知大势已去，于是在张定边的协助下再次逃走。朱元璋追到了罂子口，见水面狭窄，不便深入，所以决定暂时撤军。此后，朱元璋给陈友谅写了一封信，借机羞辱陈友谅闭门不出，胆小如鼠。
恰好此时，陈友谅的两位将军前来投降，可见陈友谅已经是众叛亲离。当朱元璋得知陈友谅不遵守交战规则，任意屠杀俘虏时，顿时变得异常气愤，可他很快就控制住了情绪，再次提笔给陈友谅写信，信中说：天下英雄，就数你我二人，可你为何度量如此狭小，要滥杀我的将士？你的领地已被我占领，就算你侥幸逃脱，也不是长久之计，你好好考虑吧，否则后果自负。
陈友谅看过信件，置之不理，依然往洪都运送粮草，可偏偏又被朱文正半路截获，陷入了进退两难的境地。过了几天，陈友谅再次集结残兵败将与朱元璋一决雌雄，可他既不得天时也不得地利，只剩大败一条路可走。陈友谅兵败如山倒，最后只有带着张定边一人出逃。朱元璋追了好一阵，忽然遇上了在江面上划船高歌的铁冠道人张景和，朱元璋赶紧询问：“张道人！你怎么还有闲心在这里消遣啊？”张景和说：“陈友谅都死了，我为什么不能消遣？”朱元璋不信，张景和大笑起来：“你是皇帝，我是道士，我和你打赌，拿脑袋做赌注如何？”正当此时，忽然有人前来报信，说陈友谅被箭射穿了脑袋死于江中，这果然应验了张景和的预言。这是至正二十三年八月的事。这月，朱元璋改洪都府为南昌府。
朱元璋追剿陈友谅的残部，抓获了他的妃子阇氏和长子陈善。第二天，陈荣带领五万人前来投降，再次证实了陈友谅战死的消息，他的尸首则被张定边和小儿子陈理带到武昌去了。陈友谅称帝才四年，死的时候不过四十四岁，可谓是心比天高，命比纸薄。
朱元璋高奏凯歌，荣归应天府，他封赏了有功的将士，大摆宴席，金陵城内顿时歌舞升平。此后，朱元璋觉得阇氏虽然是陈友谅的妃子，但她毕竟有几分可怜，于是纳她为妾。
大军修养了几个月，朱元璋派常遇春带兵围攻武昌。第二年，即至正二十四年(1364年)一月一日，朱元璋在应天府自称吴王，封李善长为右相国，徐达为左相国，刘伯温为太史令，常遇春和俞通海做了平章政事。又过了几个月，朱元璋还没有听到攻下武昌的喜讯，便决定亲自前往