此后两年,大将军卫青、骠骑将军霍去病大举出击匈奴.李广多次自己请求出征,天子以为李广年老,不允许；过了好久又答应了他,派他做前将军.这一年,是元狩四年.
李广随从大将军卫青出击匈奴.出塞以后,卫青捉到俘虏知道了单于居住的地方,就亲自率领精兵去追赶,而命令李广和右将军赵食其的部队合并,从东路出兵.东路稍微绕远,而大军行军途中水草也少,势必不能集结赶路.因此李广就亲自请求说：“我部是前将军,现在大将军竟调开我走东路,再说我从年轻时起就和匈奴作战,今天才得到一个机会和单于直接对敌,我愿居前锋,先和单于决一死战.”大将军卫青也是密受武帝的告诫,认为李广年老,命运不好,不要派他与单于对敌,怕达不到原来的期望.而这时公孙敖新失掉侯位,作为中将军随从大将军,大将军也想让公孙敖与自己一同对付单于,所以调开前将军李广.李广当时知道这个情况,亲自向大将军表示坚决拒绝调动.大将军不听,派长史下文书给李广的幕府,说：“急速带领部队按照文书中的指示去办.”李广没有辞别大将军就出发,他十分恼怒地到军部,带领士卒与右将军赵食其合军从东路进军.军中没有向导,迷失了道路,延误了约定与大将军会师的时间.大将军和单于接战,单于逃跑,没能得到战功而回.大军南归横渡沙漠,遇到前将军和右将军.李广见过大将军,回到军中.大将军派长史拿干粮和酒送给李广,并问李广、赵食其二人的迷路情况,卫青打算上书给天子详细汇报军情.李广没有回答,大将军派长史急催李广的幕府接受传讯.李广说：“众位校尉没有罪,是我自己迷路,现在我自己去接受讯问