x^6+2ax^3y+a^2y^2-(a^6x^6+2a^3bx^3y+b^2y^2)
=(1-a^6)x^6+(2a-2a^3b)x^3y+(a^2-b^2)y^2
要使这结果与单项式ax^3y是同类项,则必须有
1-a^6=0 (1)
2a-2a^3b=a (2)
a^2-b^2=0 (3)
即a^6=1 (4)
a=2a^3b (5)
a^2=b^2 (6)
由(4)(6)得到b^6=1,即b=1或b=-1
但是将b=1或b=-1分别代入(5)得到a=2a^3,或a=-2a^3
即a^2=(2a^3)^2=4a^6=4
与(6)矛盾
所以无解