(I)由题意,函数f(x)的定义域为(0,+∞),f′(x)=[1−ax/x].
当a<0时,f′(x)>0,此时函数单调递增,
当a>0时,由f′(x)>0,得0<x<[1/a],此时函数单调递增;
由f′(x)<0,得([1/a],+∞),
综上,当a<0时,函数f(x)在(0,+∞)上单调递增;
当a>0时,函数f(x)在(0,[1/a])上单调递增,在([1/a],+∞)上单调递减.
(II)由(I)得,f′(x)=[1−ax/x].
∴g(x)=x3+[[b/2]-f′(x)]x2=x3+([b/2]+a)x2-x,
∴g′(x)=3x2+(b+2a)x-,
∵g(x)在区间(a,3)上有最值,
∴g′(x)在区间(a,3)上有零点.
而g′(0)=-1<0,∴
g′(a)<0
g′(3)>0对任意的a∈[1,2]恒成立,
即3a2+(b+2a)a-1<0 ①,26+3(b+2a)>0,②对任意的a∈[1,2],恒成立.
由①得,b<[1/a]-5a,∵[1/a]-5a的最小值为[1/2−10=−
19
2],∴b<−
19
2
由②得,b>-2a-[26/3],
∵-2a-[26/3]的最大值为-2-[26/3]=−
32
3,∴b>−
32
3,
综上−
32
3<b<−
19
2.