汉宣帝的龙案上放着一封书信，拆开一看，原来是茂陵的徐福写来的，信上说：“霍家掌权的时间太长了，他们的子孙人人封侯，连霍家的女婿都掌握了兵权，权势实在大盛了，连皇上都不放在他们的眼里。皇上如果不采取措施抑制他们的势力，说不定霍家要走上反叛灭族之路呀！”
汉宣帝虽然对霍家也有成见，可是皇后都是霍家的人哪，如何下得了手呢？再说，自己对霍家恩重如山，他们也不至于会心怀二心谋反篡权。他把书信丢在一边不予理睬。
没有几天，徐福的书信又到了汉宣帝的案头，再次提醒皇上对霍家要提高警惕。汉宜帝仍然把信搁置一边不理。
几个月后，当汉宣帝第三次收到徐福上书的时候，开始讨厌这个人了。事隔不久，霍家果然阴谋政变，幸好被人告发，没有造成大害。汉宣帝大怒，咬牙切齿地严令将霍家消灭，重赏告发的人，唯独没有赏赐三次上书的徐福。
有人为徐福受到皇上的冷遇忿忿不平，上书汉宣帝说：“我听过这样一件事，有个客人到人家去玩，看见这家的烟囱是笔直向上的，旁边还堆着不少柴草，就劝告他们说，这种状况很容易发生火灾，应该把烟囱砌成弯曲的，把柴草搬到较远的地方去。那家主人说烟囱已经砌了几年了，都是这个样子，从没有出过事。不久这家真的失火了，附近的人都赶去救火。火灾扑灭了，主人请救火的人到他家去吃酒，唯独没有请那个提醒注意火灾的客人赴宴。后来经人批评后，才把那位客人请到宴席上坐了上位。”
汉宣帝看到这里，觉得那家失火的人把提建议的客人忘了，这是不足取的。接着，他又读了下去：“茂林徐福三次上书陛下，指出霍家权势太重，应该防止他们走上谋反的邪路上去。如果皇上采纳了徐福的意见，限制了霍家的权力，那么，霍家就没有力量谋叛了，也不致遭到灭族之祸，国家也就没有必要拿出大量的土地和官侯去分封众人。可是，陛下却偏偏不赏徐福，这同遭到火灾的主人独独不请提建议的客人上酒宴一样，是不公平的。这样，以后谁还敢冒着危险上书陛下，去揭露你身边潜伏着的隐患呢？”
汉宣帝觉得这个上书人说得合情合理，就把徐福召进宫殿予以重赏，还让他当了个郎官。