父亲去世后，晏小山家道开始中落。虽家财散尽，不愿践贵人之门，而旧日奔走晏府的人们也因其孤傲耿介而不理他。此后他屡屡遭遇坎坷，不但终生仕宦不得意，而且还受到种种意外的磨难。宋神宗熙宁七年（1074年）郑侠上《流民图》反对王安石新法，被逮捕治罪。晏小山因曾赠诗与郑侠，也被牵连下狱。朝廷官员在郑侠家里搜寻到一首晏几道的诗：“小白长红又满枝，筑球场外独支颐。春风自是人间客，主张繁华能几时？”不料宋神宗看了后赞叹诗写得好，认为人才难得，就将晏小山释放了。但出狱以后，拙于谋生的晏小山生活境遇每况愈下。中年以后，晏小山与那歌儿舞女们一样，同为天涯沦落人。晚年以后，晏小山甚至沦落到家境贫寒、衣食不能自给的程度。生长于富贵之家锦绣丛里，却落到穷愁潦倒的地步，其间的反差可谓是一落千丈。
三尺微命，风尘流离，江湖夜雨十年灯，少年子弟已白头。五十来岁时，他才做了一任低层小官吏——监颍昌府许田镇和开封府推官，不久即离职。岁月蹉跎到满头飞雪时，晏小山才步履蹒跚地回到父亲留下的汴梁故居，栖身于旧宅中。正是“雨中黄叶村，灯下白头人”，他闭门不出，一灯如豆，披阅斟酌，修改整理《小山词》。当此白发如雪的垂暮之年，回首这一路走过来所遇到的那些悲欢离合，那些梦影星尘，似有所悟：“追惟往昔过从饮酒之人，或垄木已长，或病不偶。考其篇中所记悲欢合离之事，如幻、如电，如昨梦前尘，但能掩卷怃然，感光阴之易迁，叹境缘之无实也。”