D、12096
（a-b）a^3（即a的三次方,下同）+（b-a）b^3
=a^4-a^3b-ab^3+b^4
=a^4+b^4-ab(a^2+b^2)
=a^4+b^4+20(a^2+b^2)
=(a^2+b^2)^2-2(ab)^2+20(a^2+b^2)
=(a^2+b^2)^2+20(a^2+b^2)-800
=(a^2+b^2+40)(a^2+b^2-20)
因为a+b=8,ab=-20 所以 a^2+b^2=(a+b)-2ab=104
代入上式,原式等于（104+40）*（104-20）=12096