5x^3y*(-3y)^2+(-6xy)^2*(-xy)-xy^3(-4x)^2
=5x^3y*9y^2+36x^2y^2*(-xy)-xy^3*16x^2
=45x^3y^3-36x^3y^3-16x^3y^3
=-7x^3y^3