窦建德押往长安后被李渊杀死，其流散各处的部将听到此消息后非常地气愤和不满，于是大家推选窦建德的得力部将刘黑闼为主，在漳南（今山东德州一带）重新起兵反唐，各地纷纷响应，很快就重新占领了窦建德的故地。李世民、李元吉奉命进攻刘黑闼，刘黑闼败逃突厥。两个月后，刘黑闼卷土重来，重新恢复故地。武德五年（公元622年）初，刘黑闼称汉东王，都洲（今河北永年）。齐王李元吉前往讨伐，被刘黑闼打败，李渊又派太子李建成亲征。李建成采纳谋臣魏徵的建议，实行安抚政策，努力争取当地人民的拥护，以瓦解刘黑闼叛军的群众基础。武德六年（公元623年），刘黑闼最终兵败被杀，从此唐控制了河北山东地区。
此外此外还有江淮间的杜伏威、辅公祏和在长江中游割据自称梁帝的萧铣也先后被唐廷平定。到武德七年（公元624年），除朔方的梁师都外，唐高祖基本平定了群雄，统一了全国，初步奠定了唐朝的版图。
唐高祖长安称帝后，一方面进行全国统一战争，另一方面为新建的唐王朝建立制度。唐承隋制。唐高祖在政治、经济、军事上都沿袭了隋朝的制度。
