安禄山与杨贵妃的关系，姚汝能在《安禄山事迹》这样说：“(安禄山生日)后三日，召禄山入内，贵妃以绣绷子绷禄山，令内人以彩舆舁之，欢呼动地。玄宗使人问之，报云：‘贵妃与禄山作三日洗儿，洗了又绷禄山，是以欢笑。’玄宗就观之，大悦，因加赏赐贵妃洗儿金银钱物，极乐而罢。自是，宫中皆呼禄山为禄儿，不禁其出入。
另有元稹的《连昌宫词》也写道：“禄山宫里养作儿，虢国门前闹如市。” 一个大男人和自己心爱的女人在一起共浴，唐明皇难道不警觉，难道玄宗皇帝不怕杨贵妃给自己戴绿帽子：其一，玄宗皇帝非常宠幸杨贵妃。唐明皇晚年猜得到杨贵妃，且是从儿子那里扒灰得到的，因此对杨贵妃有求必应，且皇宫里那些玩意早让杨贵妃玩腻了，杨贵妃想玩点花样，唐明皇自然不想反驳，毕竟想博美人一笑。其二，皇帝喜欢安禄山，倚之为朝廷重臣，且镇守边疆，屡立战功。其三，安禄山很会博唐明皇的高兴。
事实上安禄山和杨贵妃还真的有绯闻，据说唐朝及唐朝以前，中国女子本来以露胸为美，但有次杨妃被安禄山抓破了美胸，杨妃为了不让皇帝发觉，将胸以丝巾遮住，鉴于杨妃的地位，众人都称赞杨妃以不露胸为美。后宫众佳丽亦纷纷效仿。最终，民间女子也开始仿，最终到现在。还有一个小故事，说杨贵妃有一次沐浴过后，和唐明皇安禄山在一起闲坐。当下杨妃懒妆便服，翩翩而至，更觉风艳非常。玄宗看了，满脸堆下笑来。适有外国进贡来的异香花露，即取来赐与杨妃，叫他对镜匀面，自己移坐于镜台旁观之。杨妃匀面毕，将余露染掌扑臂，不觉酥胸略袒，宾袖宽退，微微露出二乳来了。
玄宗见了，说道：“妙哉！软温好似鸡头肉。安禄山在旁，不觉失口说道：“滑腻还如塞上酥。”他说便说了，自觉唐突，好生局促，杨妃亦骇其失言，只恐玄宗疑怪，捏着一把汗。那些宫女们听了此言，也都愕然变色。玄宗却全不在意，倒喜孜孜的指着禄山说道：“堪笑胡儿亦识酥。”说罢哈哈大笑。于是杨贵妃也笑起来了，众宫女们也都含着笑。咦，有人感慨道：若非亲手抚摩过，那识如酥滑腻来？只道赤心真满腹，付之一笑不疑猜。如此可见，二人关系的确不一般，但大家碍于皇家颜面，不敢道破。不过安禄山一直耿耿于怀，据说安禄山之所以扯旗造反，还是为了杨玉环。