(1)由|x|*|y|=20,得k=±20,把y=5代入得m=±4;
(2)由a+b=12,ab=±20联立解得:a,b的值为(2,10)、(10,2)、(6+2√14,6-2√14)、(6-2√14,6+2√14),解毕.