对汉武帝的评价历来褒贬不一，司马光在《资治通鉴》中就对他有褒有贬。贬谪他的是，穷奢极欲，繁刑重敛；内侈宫室，外事四夷；信惑神怪，巡游无度；致使百姓疲敝，起为盗贼，他的所作所为与秦始皇差不多。褒扬他的是，秦这样做就灭亡了，而汉不但没有灭亡，反而兴旺起来了。这是因为他能尊先王之道，知所统守；受忠直之言，恶小人欺蔽；好贤不倦，诛赏严明；晚而改过，顾托得人；所以能避免走秦亡的道路。而在这些顾托得人的托孤大臣中，有一个托孤大臣就是原来的匈奴王子金日磾。
金日磾，字翁叔，原为匈奴休屠王的太子。汉武帝天狩二年（公元前121年），骠骑将军霍去病奉诏，率万余精骑兵，出陇西奔袭匈奴。经历五个王国，越过焉支山（今甘肃山丹县城东南）千余里，斩杀折兰王、卢侯王，俘虏浑邪王王子及其相国、都尉，斩首八千九百余级，还缴获了休屠王的国之重器-祭天金人。这年夏天，霍去病又率军西过居延（今内蒙额济纳旗东南），小月氏（今甘肃、青海一带），攻击到了祁连山，并大有斩获。匈奴单于对浑邪王、休屠王居守西方还被汉军斩杀与俘虏了数万人，非常愤怒，想把他们召回王庭诛杀。浑邪王和休屠王害怕了，便商量向汉朝投降。当他们派使者通报汉朝后，就在霍去病率军前去迎接的路上，休屠王又后悔了。浑邪王杀了反悔的休屠王，并率领其部落降汉，浑邪王被封为列侯。因为金日磾的父亲是因反悔不降而被杀的，所以，金日磾与母亲、弟弟一起都被没入官府，后分到宫廷养马。时年金日磾十四岁。
过了一段时间，汉武帝乘宴游之兴，下诏检阅宫廷御马，后宫侍女嫔妃也站满了宫殿两侧观看。金日磾等数十人牵马从宫殿阶下通过，供皇帝观赏。当其他人牵马从殿前经过时，无不偷窥宫殿两侧的宫女，唯有金日磾经过时，目不斜视。金日磾身高八尺二寸（汉一尺等于今七寸半），容貌威严，马又养得肥壮，汉武帝很诧异，因而询问他的来历，金日磾把自己的身世如实地告诉了汉武帝，刘彻很是惊奇。当日即对金日磾赐汤沐浴，更换衣冠，并封为御马总监。后来，金日磾又迁升至侍中、驸马都尉、光禄大夫。
金日磾虽然得到皇帝的宠信，但从不恃宠犯事。这让刘彻对他更加宠信和喜爱了，出则让他同乘一辆车，入则让他随侍左右，赏赐的黄金累计超过千金（汉一斤等于今一斤六两）。皇亲国戚都在私下抱怨说：“陛下对随意俘获的一个胡人，竟然如此看重。”刘彻听到这样的议论后，反而更加厚待金日磾了。因休屠王曾做金人祭天，故赐日磾姓金。由此可见，刘彻用人是不分种族、不分贵贱的，是唯才是用的。
金日磾的母亲教导两个儿子甚有法度，汉武帝听说后，就给予嘉奖。后来金日磾的母亲生病去世，汉武帝就下诏将她的画像悬挂于甘泉宫，署名“休屠王阏氏”。金日磾每次见画必拜，每拜必泣。金日磾的两个儿子长得很可爱，汉武帝就让其长子跟随在自己身边侍奉，并且很宠这个孩子。有一次，金日磾看见儿子在皇帝身后抱着皇帝的脖子玩耍，这还了得！就生气地用眼睛瞪儿子。孩子吓得边走边哭“老爹发怒啦！”武帝对金日磾说：“为何对我的干儿子发怒？”后来，儿子大了，也长得高大威猛，就是有点不太检点。一次在殿下和宫女调情，正好被金日磾看见了，他恨儿子在宫中淫乱，就把儿子给杀了。汉武帝闻之大怒，金日磾叩头谢罪，并陈述了杀儿子的理由。刘彻十分哀伤，并为金日磾流下了眼泪。从此，打心眼里更敬重金日磾了。
当初，侍中仆射马何罗与江充的关系非常密切。汉武帝征和二年（公元前91年），卫太子（即卫皇后的长子原太子刘据）在遭受江充诬陷后，怒而起兵。在江充打败卫太子的过程中，马何罗的弟弟马通因力战卫太子有功，被封为重合侯。第二年，汉武帝了解到是江充设计陷害了太子后，便诛灭了江充的宗族及党羽。马何罗兄弟担心受到株连，遂阴谋造反。侍中驸马都尉金日磾从马氏兄弟的异样神色中看出了问题，心里便对他们起了疑心。由是，私下独自观察他们的动静，并与他们一起上殿下殿。马何罗也发觉了金日磾的意图，因此，很久都不敢发难。汉后元元年（公元前88年）六月，汉武帝行幸林光宫（秦二世所建，位于汉甘泉宫旁），金日磾因有小病住在宫中侧室。马何罗乘机与他的弟弟马通、马安成连夜假传诏书，杀害使者，起兵造反。次日清晨，皇上还未起床，马何罗没有借口任何理由便从外面进入宫中。这时，金日磾正准备入厕，突然心跳加速，预感有大事发生，他立即坐到皇上卧室的窗户下。没多久，马何罗衣袖中藏着利刃从东边过来，一见金日磾，脸色大变，立即向皇上卧室跑去，企图硬往里闯。说来也巧，马何罗慌里慌张刚跑进屋，就撞到了宫人弹奏的宝瑟上，顿时僵住了。这一楞，就让金日磾赶上，并从后面抱住了马何罗。金日磾高喊：“马何罗造反了！”皇上惊起，左右侍卫拔刀准备格杀马何罗，但汉武帝担心会误伤金日磾，便制止了侍卫的格杀。金日磾扭着马何罗的脖子，将他摔到宫殿下，马何罗被五花大绑地擒获了。其兄弟及余党都被治罪诛杀。由是皇上赐金日磾忠孝节。
金日磾随侍在皇帝身边几十年，尽心尽责，目不逆视。皇上赐给他的宫女，他也不敢亲近；皇上想娶他女儿为嫔妃，他也不同意。其敦厚谨慎如此，让皇帝特别惊异和感动。汉后元二年（公元前87年）二月，汉武帝病危。当时新立的皇太子刘弗陵只有八岁，皇帝就让霍光（即霍去病的异母兄弟）辅佐太子，霍光便推荐了金日磾，并对汉武帝说：“臣不如金日磾！”金日磾却说：“臣，外国人，不如光，且使匈奴轻汉矣！”（见《资治通鉴.汉纪十四》）遂以霍光为大司马、大将军，金日磾为车骑将军，太仆上官桀为左将军，三人受诏共同辅佐太子。当年，汉武帝驾崩于五柞宫，太子刘弗陵即位，是为汉昭帝。可惜金日磾仅辅佐新主一年余，也因病去世了。这就是匈奴王子成为汉武帝的托孤大臣的故事。一个匈奴王子能如此忠心耿耿地为汉朝皇帝服务几十年而不变，端的殊为不易。一个匈奴王子之所以会如此，除了他本身的忠诚特质和他母亲的教育管束得法外，与汉武帝不拘一格的用人本领也是有很大关系的。