1929年1月10日晚，时任辽宁警务处长的高纪毅与张学良的副官长谭海带着六名卫士进入老虎厅，对等在那儿向张学良汇报工作的杨宇霆、常荫槐两人宣布说：“奉长官命令，你们两人阻挠国家统一，着将二位处死，即刻执行。”杨、常二人惊得目瞪口呆，不知所措，六名卫士出手，分别由两人挟持一人，另两名卫士开枪，把杨、常二人打死在老虎厅内。此时距张作霖被炸身亡仅仅7个月。
据说张作霖身死之前曾扶有一乩，上云：“杂乱无章，扬长而去。”张作霖以为乩语的意思是要他从北京“扬长而去”，不要恋栈；而组织奉军撤退时有可能因混乱而“杂乱无章”，因此特别重视奉军的撤军安排，以免发生意外损失。结果奉军撤退没有问题，恰恰是自己和吴俊升出了问题。张、吴死后不到一年，杨、常又同时羁难，后来民间解读说是“杂乱无章，扬长而去”的意思实际上是“炸烂吴(俊升)张(作霖)，杨(宇霆)常(荫槐)而去。”乩语已经提前进行了提醒，只可惜当事人当时并不明白。
杨宇霆作为张作霖时代最为宠信的股肱大臣，在张作霖死后不到一年即遭到清洗，不能不说是一件十分遗憾的事情。杨宇霆虽然心胸狭窄，又是害死张学良所最信任的郭松龄的元凶，加上个性张扬，位高震主，所以张学良有一百个理由需要杀他。但是对于当时的东北军来说，杀掉杨宇霆实在是一个较大的损失。那时东北军已经人才凋敝，张作霖时代的孙烈臣、郭松龄、姜登选、韩麟春、吴俊升等均已先后死去，李景林、张宗昌等人也已作鸟兽散，犹如三国时期刘备时代关羽、张飞、赵云等人群星闪烁，而到了刘阿斗时仅剩下诸葛亮苦撑危局一样，到了张学良执掌东北之时，除了比较稳重可以守成的张作相以外，有谋略敢于担当能主持大事的实际上就只剩下一位杨宇霆了。张学良杀了杨宇霆，等于是自毁长城，其结果也显现出来了，以至于三年后日军发动“九一八”事变，张学良不抵抗而撤出东北之时，诺大的东北队伍之中竟然没有一个将官对此决议表示坚决反对，如果杨宇霆还在，一定会表现出他的血性而全力阻止，至少不会让日军如此轻轻松松地占据东三省，那么东北的形势就很有可能不一样了，东北军的下场也不会那么悲惨。
当然，个性决定命运，杨宇霆这种宁折不弯的个性也正是这次他被杀的原因之一。他被杀有一个罪名就是“阻挠国家统一”，实际上指的就是张学良的改旗易帜。对于当时的张学良来说，改旗易帜是很自然的事情，一方面他对当年南方孙中山的革命心而向往之，其灵魂人物郭松龄当年甚至还加入过孙中山的革命组织，对张学良影响很大；另一方面张学良身负国恨家仇，对日本人恨之入骨，那时日本人为了谋取他们在东北的特殊利益，反对张学良改旗易职，积极策划东北独立，以形成中国的割据分裂。张学良反其道而行之，实际上也是快意恩仇的一种体现。
而对于奉军而言，张作霖给出的出路是既不分裂，也不投降日本，保持东三省的相对独立状态，以静观时变，等待契机。应该说，这是最契合东北利益的一种思路。张作霖既已不在，作为张作霖在这个世上唯一的代言人，杨宇霆深感责任重大，尤其是在攸关东北命运出路的改旗易帜这件大事上，他觉得自己有责任按大帅的意思为奉军谋一个好的前途。而臣服于蒋介石，既不利于奉军的独立发展，还有可能激化东北与日军的矛盾，远不是守卫东北的方针，因此坚决反对。杨宇霆与张学良在这件事情上的矛盾实际上是无可调和的，这是杨宇霆引来杀身之祸的最主要原因。
有意思的是，盛极一时的杨宇霆被杀，各方竟然对此保持沉默，似乎什么事情都没有发生一样，耐人寻味。就日本来说，日本朝野认为张作霖的政策大半出于杨宇霆之手，因此杨宇霆和张作霖一样，都是忘恩负义之人，除掉杨宇霆，有利于今后图谋日本在东北的利益。可以说张学良之所以杀杨宇霆，有一多半倒是中了日本人的借刀杀人之计，日本人当然不会吱声。就苏联而言，杨、常二人处处与其作对，不但积极在黑龙江流域部署军力，还急欲策划成立东北铁路督办局，怂恿少帅夺回中东路权，两人被自己长官处诀，实在是为苏联人出了一口恶气。就蒋介石国民政府而言，杨宇霆反对东北易帜，实是阻碍东北统一于蒋介石旗下的关键人物。当时杨宇霆公开反对蒋介石最凶，认为蒋是反复无常之人，东北数十万军队托庇于此人实在不堪设想，蒋介石当然也不会保他。
1928年12月29日，张学良以国民政府的青天白日旗替换北洋时代的共和五色旗，对外通电宣称“遵守三民主义，服从国民政府”，这样，从袁世凯1912年窃取中华民国大总统以来，维持了16年的北洋时代正式结束，由国民党组织的国民政府形式上完成了国家的统一。