先作辅助线,记正方形的四个点为M、N、P、Q,其中M和N在圆上,P和Q在OA、OB上
C是AB中点,连结OC并延长,分别交MN于D,交PQ于E
根据圆的性质,知OD⊥AB
∵MN‖PQ‖AB
根据正方形和△OAB的对称性,易证明OD也垂直平分MN、PQ
且DE=MP=NQ
设正方形MNPQ的边长为x
那么PE=MD=(1/2)x
∵AB=6,OA=5
∴AC=3,OC=4
∵△OPE∽△OAC
∴OE:PE=OC:AC=4:3
∴OE=(4/3)*(1/2)x=(2/3)x
∴OD=DE+OE=(5/3)x
∵MD=(1/2)x,根据勾股定理
在Rt△OMD中
MD²+OD²=OM²
∴[(1/2)x]²+[(5/3)x]²=5²
∴x²=900/109
∴正方形MNPQ的面积是900/109