唐人蒋防的传奇小说《霍小玉传》记载了李益负心薄幸,辜负妓女霍小玉的故事。是唐传奇的名篇。蒋防是唐宪宗时期的人,当时李益还活在世上,造谣的可能性不大。霍小玉原是霍王府上的婢女的女儿,十五岁时,霍王死了,霍小玉和她母亲都被赶出王府,沦为娼妓。十六岁时遇到李益。当时李益二十岁出头。应该是在大历六年(771)参加制科考试之前。
霍小玉明白自己的地位无法和李益真正在一起,于是她和李益约定:“妾始年十八,君才二十二,迨君壮室之秋,犹有八岁,一生欢爱,愿毕此期。”霍小玉希望和李益一起相爱八年,之后任由李益选取名门闺秀为妻,自己出家为尼。但是,李益自授官郑县(今陕西华县)主簿之后,立即与高门卢氏女子成婚,并且躲避霍小玉不肯相见。霍小玉相思成疾而死。
李益因为这等负心行径受到当时舆论的普遍谴责,自己的内心也留下了阴影。《霍小玉传》《旧唐书》等书记载李益对自己的妻子非常不放心,出门要把妻子绑起来,甚至脱光了用浴盆盖起来才放心。