已知A.B的坐标可求直线AB的方程：y=1-x,依题意可设p(t,1-t),且t∈[0,1],则
OP=(t,1-t),AB=(-1,1),AP=(t-1,1-t),PA=(1-t,t-1),PB=(-t,t)
依题意得：-t+1-t≥(1-t)*(-t)+(t-1)t
即：t2≤1/2
解得：-√2/2≤t≤√2/2 又∵t∈[0,1]
∴0≤t≤√2/2
∵AP=λAB,即：(t-1,1-t)=λ(-1,1)
∴λ=1-t (0≤t≤√2/2)
∴1-√2/2≤λ≤1
故实数λ的取值范围为[1-√2/2,1]