南朝宋南阳涅阳（今河南邓州东北）人，字元幹。少有大志，曾谓“愿乘长风破万里浪”。文帝时，屡立战功。元嘉三十年（公元453年），太子刘劭杀文帝自立。他任南中郎咨议参军，随刘骏（孝武帝）出兵讨伐。孝武即位，他为左卫将军，累迁豫州刺史监五州诸军事。大明三年（459年），参加平定据广陵抗命的竟陵王刘诞之乱。前废帝时，任雍州刺史。