f(x)=(cos2x)2-sinxcosx
=(cos²x-sin²x)²-sinxcosx
=(cosx-sinx)²(cosx+sinx)²-sinxcosx
=(1-2sinxcosx)(1+2sinxcosx)-sinxcosx
=1-4(sinxcosx)²-sinxcosx
=-(sin2x)²-(1/2)sin2x+1
=-[sin2x+1/4]²+17/16
周期为 2π/2=π
当 x∈[π/8,3π/4]
sin(2x)∈[-1,1]
所以 最大值为 sin2x=-1/4时 为 17/16
最小值为 sin2x=1时 为 -1/2