在千叶胤富与小山高朝分别离开以后，上杉政虎还是在镰仓山内馆又滞留了几天，原因是因为下一任古河公方的人选陷入了争议当中。
原来，虽然没能打下小田原城，但关东联军攻陷古河御所这样的城砦，问题还是不大的，随后，那位北条家的傀儡“葛西殿”足利义氏就被驱逐了。
不过上杉政虎与越后诸人却是很清楚，古河公方是不能废除的，因为还需要依靠古河公方来维系关东众人的人心，特别是常陆、房总与下野等国的人心。
然而风波又因为这个问题而在山内馆发生了，上杉政虎的人选，是朝廷关白近卫前久，这位出身摄关藤原家的公卿，倒颇有些豪勇男儿的特色，他与上杉政虎结为义兄弟，她妹妹绝姬和上杉政虎间有段说不清道不明的缘分，至于近卫前久本人，则直接离开了京都，来到了杀伐四起的关东，为兄弟上杉政虎撑场子。
不过近卫前久虽然贵为关白，但关东的众人却是没几个人会买他的面子的。公方重臣築田晴助推选的，是足利藤政；而小山秀纲推选的，是被北条家废除的足利藤氏。一帮人各有心思，关东诸将各自站队，在山内馆内吵闹不休。
就这样，时光与粮食，就在这没日没夜的吵闹中，渐渐消磨殆尽。此时关东原本就遭了灾年。现在对小田原的远征，更是让各领主的领地经济雪上加霜。进入四月末后，佐竹、小田和宇都宫也先后离去。而北条家不光是小田原，其余诸如河越、玉绳、泷山等重要城砦，也都在关东联军的攻势下得以保全，北条家并未因此伤筋动骨。
另外一面，北条家在准备防守反击的同时，甲斐的武田信玄也趁机开始对北信浓地区大举行动，这愈发让上杉政虎寝食难安了。就在越后军队倾巢而出，滞留小田原城下时，武田信玄的北信攻势乘虚提速，五月，武田军攻陷了孤立无援的割岳城，而后海津城在武田家众人的努力下，也宣告竣工。
上杉政虎在得知割岳城失陷后，就再也坐不下去了，他必须要结束关东的战事，返回北信浓地区与武田家做个了断了。
为何上杉政虎会坐不住？因为，若是海津城落成，意味着武田家对北信浓支配的确立，那么割岳城的陷落，则表明武田家的匕首，能随时刺进越后上杉的心脏！
割岳城，位于水内郡，高度接近八百米，东面是饭山、丰田，西面是柏原，南面是三水，更重要是它的北面，只要越过一片叫野尻的湖面，就是越后国的境内了。
以前上杉家还能以饭山城为门户，扼住武田家的入侵，而现在武田军以高原之城割岳城为基地，一样能列队杀进上杉政虎的根据地。现在若是寄希望于武田信玄消极无作为，那是极其愚蠢的想法，割岳城的易手，再清楚不过地证明了：武田信玄的目标不单单是信浓地区，很可能还有越后国，因为越后国有丰饶的大海，有白色的黄金——盐，有垄断全国的青苧产地，有平整的街道，有河川与肥沃的土地，这点对山里的武田信玄的诱惑力还不够吗？更何况武田信玄就是个贪得无厌的大名。
而武田信玄的确是一个想到就会做到的男子，同样是永禄四年五月，在甲州金的引诱下，越中国的本愿寺首先蜂起，这些净土真宗门徒撕毁了先前与上杉政虎的不战协定，上杉政虎的“安宁后院”不复存在。另外，深入相模的上杉军的后方，武藏国松山城的上田朝直，也接受了武田信玄与北条氏康的贿赂，举旗造反了。更加要命的是，在得到了武田家与骏河今川家的援军支援后，北条家也从乌龟壳小田原城中追击而至了，。
这一点很要命，首先是那位上田朝直一向号称“退路粉碎机”，当年他第一次变节，让太-田资正没了退路，只得投降北条家，这次他第二次变节，轻车熟路，志向更大，要断了新关东管领的退路。而北条家、武田家、骏河今川家的追兵也令上杉政虎头痛不已。
上杉政虎这个时候已经功败垂成，他别无选择，只得留下足利藤氏、近卫前久留在古河御所，自己则是率领着越后军自五月开始，朝着上野国方向缓缓退去，顺路攻陷了松山城，“退路粉碎机”上田朝直反被“粉碎”，逃之夭夭。六月，上杉政虎安全退回了厩桥城，关东联军实际解散，持续一年有余的关东征伐宣告结束。
上杉政虎的关东征伐虽然很长时间，但真正对小田原城的攻击，只有短短十多天，便宣告折戟沉沙。直接原因，在于小田原城的坚固。但深层原因却是，当初上杉政虎之所以能深入北条家的领地耀武扬威，还是因为他得到了关东诸多大名、豪族的臣从，但“成也萧何败萧何”，也正是因为关东这帮人的朝秦暮楚的无原则，以及上杉政虎掌控力的缺乏，才导致了上杉政虎梦想最终的破灭。
说来说去，上杉政虎虽然贵为关东管领，幕府役职的头衔确实有相当的号召力，但战国早已是威权粉碎的时代，关东战国大名林立的局面业已形成，北条家与外来户“新越后上杉”不过是其间比较强大的一环，但佐竹、里见、宇都宫也都不弱，甚至长野、那须、小山这些国人旗头，也都割据一方。这些势力间的纵横捭阖与微妙制衡，又岂是上杉政虎一方之力，所能整合统一的？
当然，若只从战术层面来说，攻城略地并一度将北条氏康封在小田原城的上杉政虎无疑是胜利者。但从战略层面来说，北条家最重要的同族所把守的大多数城砦都没有陷落，直属实力并无什么大损。
而正因为如此，在上杉政虎退回越后过之后，北条家就立即发动了大举反攻，武藏国、上野国的那帮墙头草，又纷纷重登到上：酒井家、太-田家、上田家、高城家等豪族归降，而不肯反水的三田家，则是直接被北条氏照攻灭。
于是，北条家的势力范围又像弹簧那样弹了回来，武藏国、上野国、房总国又成了强权来回拉锯之地。不过这点也产生了意想不到的效果：后来在历史中，这帮来回倒的国众，上杉政虎冲过来杀一批，北条氏康弹回来屠了一批，武田信玄插进来又灭了一批，一来二往凋零得也七七八八。
历史中，到了丰臣秀吉小田原征伐时，关东的大部分国众，不是没了，就是成了北条家的被官家臣，后来转封此地的德川家康，运用对待甲斐武田遗臣的同样怀柔手段，将这批人轻轻松松地接纳到自己的帐下，这就是而后所谓的“德川幕府八万旗本”的基干力量，成了德川家康谋取天下的最根本资本。
就这样，在上杉政虎返回越后国，开始花费精力对付那些背叛者，而北条家也开始全面反攻后，一时间从越后国到关东地区都显得热闹非凡。
时间一直持续到了永禄四年的八月，秋日骄阳高照，春日山城中，上杉政虎在向毗沙门天许下必胜愿望后，走出馆殿，对着一万八千越后子弟兵，发出了进军北信浓的命令。在将内部问题解决后，上杉政虎准备报复甲斐之虎了。
于是，越后军人马旗帜大张，高歌而进，沿着北陆街道迅猛南下，八月十五日越后国大军抵达善光寺，怒火冲天的上杉政虎，为了报复之前善光寺的背叛，下令将其间的佛像与寺宝清扫一空，全部运回越后，旨在摧毁之前武田信玄利用善光寺在宗教上加强对信浓地区支配的野心，而后，上杉政虎让五千人马驻防在善光寺，看守辎重，并且负责己军退路的畅通，自己则领着剩下的一万三千主力，越过犀川与千曲川，目标直指海津城。
海津城的武田家众人当即有些慌张了，他们急忙点燃了能通往甲斐踯躅崎馆的烽火。