(1)∵函数f(x)=
a 2x -(t-1)
a x (a>0且a≠1)是定义域为R的奇函数,
∴f(0)=0,即
a 0 -(t-1)
a 0 =0 ,
∴t=2;
(2)由(1)可知,t=2,
∴f(x)=
a 2x -1
a x ,
∵f(1)>0,
∴
a 2 -1
a >0 ,即
(a+1)(a-1)
a >0 ,
又∵a>0,
∴a>1,
∵f(x)为奇函数,
∴-f(x-1)=f(1-x),
∴不等式f(kx-x 2)+f(x-1)<0对一切x∈R恒成立,即f(kx-x 2)<f(1-x)对一切x∈R恒成立,
∵a>1,则y=a x在R上为单调递增函数,
∴f(x)=
a 2x -1
a x = a x -
1
a x 在R上为单调递增函数,
∴kx-x 2<1-x对一切x∈R恒成立,即x 2-(k+1)x+1>0对一切x∈R恒成立,
∴△=(k+1) 2-4<0,即k 2+2k-3<0,
∴-3<k<1,
∴实数k的取值范围为-3<k<1;
(3)假设存在正数m,且m≠1符合题意,
∵函数f(x)的反函数过点(
3
2 ,1),
∴
3
2 =
a 2 -1
a ,
∴a=-
1
2 或a=2,
∵a>0,
∴a=2,
∵ g(x)=lo g m [ a 2x + a -2x -mf(x)] ,
∴g(x)=log m[( 2 x - 2 -x ) 2 -m( 2 x - 2 -x )+2] ,
令t=2 x-2 -x,
∴(2 x-2 -x)-m(2 x-2 -x)+2=t 2-mt+2,
∵x ∈[1,lo g 2 3 ] ,
∴t∈[
3
2 ,
8
3 ],
记h(t)=t 2-mt+2,
∵函数g(x)=log m[ a 2x + a -2x -mf(x)] 在[1,log 2 3]上的最大值为0,
①当0<m<1时,y=log mh(t)是单调递减函数,
∴函数h(t)=t 2-mt+2在[
3
2 ,
8
3 ]有最小值1,
∵对称轴t=
m
2 <
1
2 ,
∴函数h(t)在[
3
2 ,
8
3 ]上单调递增,
∴h(t) min=h(
3
2 )=
17
4 -
3
2 m=1,
∴m=
13
6 ,
∵0<m<1,
∴m=
13
6 不符合题意;
②当m>1时,则函数h(t)>0在[
3
2 ,
8
3 ]上恒成立,且最大值为1,最小值大于0,
∵函数h(t)=t 2-mt+2在[
3
2 ,
8
3 ]有最大值1,h(t)的对称轴为x=
m
2 ,
(i)当
m
2 <
25
12 ,即m<
25
6 时,
当t=
8
3 时,h(t)取得最大值h(
8
3 )=
82
9 -
8m
3 =1,
∴m=
73
24 ,
又∵
m
2 =
73
48 ∈[
3
2 ,
8
3 ],
∴当t=
73
48 时,h(t)取得最小值h(
73
48 )<0,
∴g(x)在[1,log 2 3]无意义,
∴m=
73
24 不符合题意;
(ii)当
m
2 ≥
25
12 ,即m≥
25
6 时,
当t=
3
2 时,h(t)取得最大值h(
3
2 )=
17
4 -
3m
2 =1 ,
∴m=
13
6 ,
∵m≥
25
6 ,
∴m=
13
6 不符合题意.
综上所述,不存在正数m,使函数g(x)在[1,log 2 3]上的最大值为0.