(1)∵函数f(x)=
x+a
x2+bx+1是奇函数
∴由定义
−x+a
x2−bx+1=-
x+a
x2+bx+1,
∴a=b=0;
(2)由(1)知f(x)=
x
x2+1,∴f′(x)=
−x2+1
(x2+1)2
∵x>1,∴f′(x)<0,∴y=f(x)在区间(1,+∞)上的单调递减;
(3)由f(t2-2t+3)+f(k-1)<0及f(x)为奇函数得:f(t2-2t+3)<f(1-k)
因为t2-2t+3≥2,1-k>1,且y=f(x)在区间(1,+∞)上的单调递减,
所以t2-2t+3>1-k任意的t∈R恒成立,
因为t2-2t+3的最小值为2,所以2>1-k,∴k>-1
∵k<0,∴-1<k<0.