唐渔阳（治今天津市蓟县）人，寄籍新政（今四川南部东南）。名向。开元进士。玄宗时与杨国忠相结纳，任剑南节度使。天宝十载（公元751年），率兵进攻南诏，大败于泸南（今云南姚安北），丧师六万。国忠掩败为胜，荐他为京兆尹。后被贬。有《鲜于向集》，今佚。