《韦苏州集》中，有《逢杨开府》诗云：“少事武皇帝，无赖恃恩私。身作里中横，家藏亡命儿。朝持樗蒲局，暮窃东邻姬。司隶不敢捕，立在白玉墀。骊山风雪夜，长杨羽猎时。一字都不识，饮酒肆顽痴。武皇升仙去，憔悴被人欺。读书事已晚，把笔学题诗。两府始收迹，南宫谬见推。非才果不容，出守抚惸嫠。忽逢杨开府，论旧涕俱垂。”味此诗，盖应物自叙其少年事也，其不羁乃如此。李肇《国史补》云：“应物为性高洁，鲜食寡欲，所居焚香扫地而坐，其为诗驰骤建安已还，各是风韵。”盖记其折节后来也。《唐史》失其事，不为立传。高适亦少落魄，年五十始为诗，即工。皆天分超卓，不可以常理论云。应物为三卫，正天宝间，所为如是，而吏不敢捕，又以见时政矣。