杜伏威在当地受到以左君行为首的农民起义军的排斥，他觉得北方农民起义军众多，竞争太激烈，不如到南方去碰碰运气，于是他带着自己的手下来到江淮一带发展。 江都派校尉宋颢征讨杜伏威，杜伏威采用“诱敌升入”之策取得他人生中的第一场大胜，自此他名声远扬，不少小股义军投靠杜伏威，后来他又兼并了赵破阵的部队。