因为O、M、P三点共线,所以可设向量OP=λ*向量OM,则
OP=λ(2,1)=(2λ,λ),
PA=OA-OP=(1,7)-(2λ,λ)=(1-2λ,7-λ),
PB=OB-OP=(5,1)-(2λ,λ)=(5-2λ,1-λ),
代入已知条件PA*PB=-8得
(1-2λ,7-λ)*(5-2λ,1-λ)=-8
(1-2λ)*(5-2λ)+(7-λ)*(1-λ)=-8
λ²-4λ+4=0
λ=2
进而OP=(2λ,λ)=(4,2),PA=(-3,5),PB=(1,-1),
设∠APB=θ,因为向量PA*PB=|PA|*|PB|cosθ=-8,所以
cosθ=-8/(|PA|*|PB|)=-8/{√[(-3)²+5²]*√[1²+(-1)²]}= -4√17/17
综上所述,向量OP的坐标为(4,2),∠APB的余弦值为-4√17/17.