2a^2b(a-b)+ab(b-a)^2+4ab^2(b-a)
= (a - b){2a^2b + ab(a - b) - 4ab^2}
= (a - b){3a^2b - 5ab^2}
= ab(a - b)(3a - 5b)