但是抵达预定目的地这件事并没有让张骞获得成就感，反而让他大失所望。在东亚战败遭到淘汰的月氏到了中亚，反而以压倒性的实力称王称霸起来。他们打败了大夏，占领了富饶的河中地区（Sogdiana，今分属乌兹别克斯坦，塔吉克斯坦和吉尔吉斯斯坦），生活富足安定，已经是“此间乐，不思蜀”。早已经过上富足生活的大月氏丧失掉复仇之心，再也不肯回到东亚的草原上和匈奴殊死搏杀。因此，张骞在大月氏和大夏地方逗留了一年，努力地想说服月氏与汉帝国结盟夹攻匈奴，但是始终不得其上层人物的要领，不得已之下只能孤身返回。
与来时相比，张骞回国同样也不是一帆风顺。为了避免被匈奴势力发现，他从南道返回，大体是沿妫水（ 阿姆河）越过葱岭（帕米尔高原），抵达莎车和于阗（今新疆南部的莎车县和和田县），试图从这里越过南山（今新疆阿尔金山）从婼羌（今柴达木盆地一带）回到阳关或玉门关。但是由于当时匈奴势力庞大，控制羌族，使得张骞在婼羌地区再度被匈奴俘虏。又扣留了一年多，直到军臣单于死去，匈奴内乱，张骞方才脱身，于元朔三年（公元前126年）年中返回长安。百人出发的使团，最终能够回到中原的，只有张骞和堂邑父两人而已。
汉帝国对匈奴的包围网
虽然，张骞的第一次出使并没有达成最初的战略目的：与大月氏联盟对抗匈奴。但这趟远征，却对当时实际上处于被匈奴封锁状态的汉帝国来说，有着开天辟地般的意义。在此之前，中原帝国整个在西部的影响力止步于玉门关、临洮一带。在此之外的世界到底是怎样？对此，整个帝国一无所知，完全处于黑暗之中。而张骞以自己的亲身经历，向帝国报告了整个西域的情况。直到此时，帝国才了解到在西部还有一个崭新的世界：不仅有大宛、康居、大月氏和大夏等诸国，还有侧面了解到乌孙、奄蔡、条支、安息等国。根据张骞报告，汉帝国不仅了解了这些国家的位置和城市，甚至连人口、兵力和特产都有了初步了解。
对于汉帝国来说，张骞的报告除了让帝国第一次睁开双眼看到外面世界之外，还有一个更重要的惊喜：了解到西域各国的详情之后，汉帝国上层就立即意识到，自己最大对手匈奴并不是铁板一块，其在西域的统治既是其力量的来源，也是它的弱点。西域各国并没有甘心臣服于匈奴的控制之下，彼此之间也有不满和矛盾，匈奴在西域的统制，并不是不可撼动的。如果能利用这些因素，将西域纳入汉帝国的势力，直接就能在战略上形成对匈奴的包围圈。正如张骞自己所建议和西域大国乌孙结盟：“汉遣公主为夫人，结昆弟……则是断匈奴右臂也……”。而这个“斩断右臂”也被汉帝国决策层采纳，成为对匈战争中一项既定国策。从此开始，汉帝国除了直接和匈奴面对面决战之外，还积极向西域发展，将自己的影响力拓展进了西域。
凭借着对西域情况的了解，张骞直接参与了元朔六年（公元前123年）二月和四月的对匈作战。这两次作战汉军统帅为卫青，张骞作为校尉协助，由于其曾被困匈奴十余年，熟知地形，“知水草处，军得以不乏”，保证了战争的胜利，战后被封为博望侯。两年后的元狩二年（公元前121年），匈奴浑邪王降汉，战略要地河西走廊被汉帝国完全控制，匈奴直接的军事压力减轻，而通往西域的门户也第一次向汉帝国完全敞开了。汉武帝立即着手推进西域攻略，再度派遣张骞率领300人、马600匹、牛羊金帛无数，浩浩荡荡地出使西域乌孙，希望能和乌孙结盟。虽然由于乌孙内部动荡的因素，最终使得张骞的使命没有达成，但张骞派遣自己的副使分赴大宛、康居、大月氏、安息、身毒、于阗、抒弥（今新疆于田克里雅河东）等国展开外交活动，将汉帝国的影响传播到了中亚各地。
元鼎二年（公元前115年），乌孙国配备翻译、向导护送张骞回国，并且派出了回访的十余名使者——这是第一次西域国家对中原的官方访问。这些使者见识到了汉朝的强大，在回国之后向乌孙王做了详细的报告，最终让乌孙下定决心和汉帝国结盟——张骞倡导的“斩断右臂”和对匈奴包围网，最终得以成型。但收效却要到等几十年以后的汉宣帝本始二年（公元前72年）：祁连将军田广明等五将军率军15万北伐匈奴，而乌孙也出骑兵5万从西方攻击，在两路夹击之下，匈奴大败，日渐衰耗，最终一蹶不振。
