因為O、M、P三點共線,所以可設向量OP=λ*向量OM,則
OP=λ(2,1)=(2λ,λ),
PA=OA-OP=(1,7)-(2λ,λ)=(1-2λ,7-λ),
PB=OB-OP=(5,1)-(2λ,λ)=(5-2λ,1-λ),
代入已知條件PA*PB=-8得
(1-2λ,7-λ)*(5-2λ,1-λ)=-8
(1-2λ)*(5-2λ)+(7-λ)*(1-λ)=-8
λ²-4λ+4=0
λ=2
進而OP=(2λ,λ)=(4,2),PA=(-3,5),PB=(1,-1),
設∠APB=θ,因為向量PA*PB=|PA|*|PB|cosθ=-8,所以
cosθ=-8/(|PA|*|PB|)=-8/{√[(-3)²+5²]*√[1²+(-1)²]}= -4√17/17
綜上所述,向量OP的坐標為(4,2),∠APB的余弦值為-4√17/17.