该句话是省略形式,补全应该是The question is difficult for me to answer.这个问题很难,我无法回答.
“for me to answer”是动词不定式的复合结构,在该句话中作结果状语,表示结果“我无法回答”.