(1)
因为sin2x=2sinxcosx,cos2x=2cos²x-1
所以f(x)=ab=(1-tanx)(1+sin2x+cos2x)=(1-tanx)(1+2sinxcosx+2cos²-1)
=(1-tanx)(2cos²x-2sinxcosx)=(sinx+cosx)(2cos²x-2sinxcosx)/cosx
=2(sinx+cosx)(cosx-sinx)=2(cos²x-sin²x)=2cos(2x)
(2)
f(α+π/8）=√2/5即2cos(2α+π/4)=√2/5
cos2α=4/5,sin2α=3/5或cos2α=-3/5,sin2α=-4/5
因为α属于（0,π/2）,所以2α属于（0,π）,所以sin2α>0,
故sin2α=3/5,cos2α=4/5
所以f(α)=2cos(2α)=8/5