(I)由已知可得f(x)=(cosx+2sinx)(cosx-sinx)+2sinxcosx(1分)
=cos2x-sinxcosx+2sinxcosx-2sin2x+2sinxcosx=cos2x+3sinxcosx-2sin2x
=
1
2(1+cos2x)+
3
2sin2x+(cos2x−1)=
3
2(sin2x+cos2x)−
1
2=
3
2
2sin(2x+
π
4)−
1
2(6分)
由2kπ−
π
2<2x+
π
4<2kπ+
π
2得:kπ−
3π
8<x<kπ+
π
8(8分)
即函数f(x)的单调递增区间为(kπ−
3π
8,kπ+
π
8)(k∈Z).(9分)
(II)由(I)有f(x)=
3
2
2sin(2x+
π
4)−
1
2,
∴f(x)max=
3
2−1
2.(10分)
所求x的集合为{x|x=kπ+
π
8,k∈Z}.(12分)