解: 二次型f的矩阵 A=
2 0 0
0 a 1
0 1 0
相似于对角矩阵 B=diag(1,b,-1).
所以 tr(A)=2+a=tr(B)=b, 且 |A|=-2=|B|=-b
得 a=0, b=2.
所以 A=
2 0 0
0 0 1
0 1 0
且A的特征值为1,2,-1.
(A-E)X的基础解系为 a1=(0,1,1)^T
(A-2E)X的基础解系为 a2=(1,0,0)^T
(A+E)X的基础解系为 a3=(0,1,-1)^T
单位化得
a1=(0,1/√2,1/√2)^T
a3=(1,0,0)^T
a1=(0,1/√2,-1/√2)^T
令P=(a1,a2,a3), 则P为所求的正交矩阵.