第一个问题：
f（x）＝4cosx［sinxcos（π/3）－cosxsin（π/3）］－√3
＝4cosx［（1/2）sinx－（√3/2）cosx］－√3
＝2sinxcosx－2√3（cosx）^2－√3
＝sin2x－√3（1＋cos2x）－√3
＝2［（1/2）sin2x－（√3/2）cos2x］－2√3
＝2［sin2xcos（π/3）－cos2xsin（π/3）］－2√3
＝2sin（2x－π/3）－2√3.
∵π/4≦x≦π/2,∴π/2≦2x≦π,∴π/2－π/3≦2x－π/3≦π－π/3,∴π/6≦2x－π/3≦2π/3,
∴√3/2≦sin（2x－π/3）≦1,∴√3≦2sin（2x－π/3）≦2,
∴√3－2√3≦2sin（2x－π/3）－2√3≦2－2√3,∴－√3≦f（x）≦2－2√3.
∴f（x）在区间［π/4,π/2］的值域是［－√3,2－2√3］.
第二个问题：
你可能是忙中出错了!
∵f（x）＝2sin（2x－π/3）－2√3,∴f（C）＝2sin（2C－π/3）－2√3.
在锐角△ABC中,显然有0＜C＜π/2,∴0＜2C＜π,∴－π/3＜2C－π/3＜π－π/3,
∴－√3/2≦sin（2x－π/3）≦1,∴－√3≦2sin（2x－π/3）≦2,
∴－2√3≦2sin（2x－π/3）－2√3≦2－2√3,∴－2√3≦f（C）≦2－2√3＜0.
∴f（C）不可能为√3.
我估计是你将－√3写成了√3.若是这样,则方法如下：
∵f（C）＝－√3,∴2sin（2x－π/3）－2√3＝－√3,∴2sin（2x－π/3）＝√3,
∴sin（2x－π/3）＝√3/2.
∵－π/3＜2C－π/3＜π－π/3,∴2C－π/3＝π/3,∴C＝π/3,∴sinC＝√3/2、cosC＝1/2.
由余弦定理,有：c^2＝a^2＋b^2－2abcosC＝a^2＋b^2－ab≧2√（a^2b^2）－ab＝ab.
∴ab≦c^2＝4.
∴△ABC的面积＝（1/2）absinC≦（1/2）×4×（√3/2）＝√3.
∴△ABC面积的最大值为√3.
注：请你认真核查原题,若原题中第二个问题不是我所猜测的那样,则请你补充说明.