设三角形ABC的三个内角A,B,C所对的边分别为a,b,c.
则向量AB·向量AC=cbcosA,
向量AC-向量AB=向量BC,
因为向量AB·向量AC=|向量AC-向量AB|=3,
所以cbcosA=3,a=3.
根据余弦定理可得：a^2=b^2+c^2-2cbcosA,
即9= b^2+c^2-6,b^2+c^2=15.
所以bc≤(b^2+c^2)/2=15/2,
而bc=3/cosA,所以3/cosA≤15/2,cosA≥2/5.
面积S=1/2*bcsinA=1/2*3/cosA*sinA
=1/2*3/cosA*√(1- cos²A)
=3/2*√(1- cos²A) /cosA
=3/2*√[(1- cos²A) /cos²A]
=3/2*√[1/ cos²A-1]
≤3/2*√[1/(2/5)²-1]
=3/2*√21/2=,
即三角形的面积最大值是3√21/4.