刘秀因为听说邯郸方面的兵才入蓟，打算南归，就开始召集官属商议这件事。耿算慷慨陈词道：“今兵从南方来，不可南行。渔阳太守彭宠，公之邑人；上谷太守，即拿父也。发此两郡，控弦万骑，邯郸不足虑也。”刘秀官属的心腹成员都全不同意这一看法，纷纷说：“死尚南首，奈何北行入囊中!”刘秀反而十分赏识耿算的见解，他指着耿拿对大家说，“是我北道主人也”。
恰巧就在这时，蓟城内突然发生了变乱，原来是故广阳王子刘接为响应王郎而起兵。霎时间，叛军开始到处搜捕刘秀，城内顿时乱作一团。人们又纷纷传言说什么“邯郸使者方到，二千石以下皆出迎”,等等。刘秀只好带领着其官属急忙向城外奔逃，然而“百姓聚观，喧呼满道，遮路不得行”。只见身长“八尺二寸”的期，“骑马奋戟，瞋目大呼左右曰‘跸’,众皆披靡”,这才荡出一条通道。“至南城门，门已闭，攻之得出”。混乱中，“官属各分散”。虽然大家慢慢地又聚拢起来，但最终还是失散了。耿算、刘秀等人不便久留，“遂晨夜南驰”,沿途“不敢入城邑，舍食道旁”,可谓狼狈之极。
刘秀为避免被王郎所获，在寒风凌厉的严冬，从蓟县日夜兼程，好不容易赶到了饶阳(今河北饶阳)的无萎亭，这时“天寒烈，众皆饥疲”,刘秀此时也又冷又累又饿，几乎就要坚持不了，幸得冯异给他弄得点粥，才得以稍得缓解。