Attractive 后面如果跟介词的话,那应该是“to”.介词是表示关系的,一般没什么固定搭配这种说法,这么说的都糊弄人呢.介词是表达关系的.
例句：This woman is so attractive to him. 这个女人对他很有吸引力.“to”在这里有“对……”的指向性,是指这个吸引力是“对”（to）他而言的.这就是关系.
但是,难道就没有后面跟of的吗?有的,就如你问的那般,但是后面跟“of”,这个OF不是表示attractive和well-to-do family的关系,而是指New England town和well-to-do family之间存在“所有”的关系,是“的”的意思.
而attractive是指New England town本身.如果用你给的短语造句,那么我可以说：This is an an attractive New England town of well-to-do family to other poor Irish families.
所以整句话的意思意译一下应该是：一座由小康家庭组成的有吸引力的新英格兰小镇.
不能把所有中文无法解释的介词都当成是句子中某个词有什么固定搭配.纯粹胡诌,因为对于欧美人来说,这些都是有他们可以理解的含义的.