唐人蒋防的传奇小说《霍小玉传》记载了李益负心薄幸，辜负妓女霍小玉的故事。是唐传奇的名篇。蒋防是唐宪宗时期的人，当时李益还活在世上，造谣的可能性不大。霍小玉原是霍王府上的婢女的女儿，十五岁时，霍王死了，霍小玉和她母亲都被赶出王府，沦为娼妓。十六岁时遇到李益。当时李益二十岁出头。应该是在大历六年（771）参加制科考试之前。
霍小玉明白自己的地位无法和李益真正在一起，于是她和李益约定：“妾始年十八，君才二十二，迨君壮室之秋，犹有八岁，一生欢爱，愿毕此期。”霍小玉希望和李益一起相爱八年，之后任由李益选取名门闺秀为妻，自己出家为尼。但是，李益自授官郑县（今陕西华县）主簿之后，立即与高门卢氏女子成婚，并且躲避霍小玉不肯相见。霍小玉相思成疾而死。
李益因为这等负心行径受到当时舆论的普遍谴责，自己的内心也留下了阴影。《霍小玉传》《旧唐书》等书记载李益对自己的妻子非常不放心，出门要把妻子绑起来，甚至脱光了用浴盆盖起来才放心。