同意.假设这只是一个简单句,主语是He,那么listen就是谓语.
你不能把to和动词分离开看.
to do是动词的一种非谓语形式,也就是to do里的do不做谓语时才这么用（to do和doing的区别就不说了...）
而listen to是固定搭配,因为listen是不及物动词,后面加宾语的时候一定要加介词的.
不是just listen之间不能加to,是listen前不加to.因为动词在做谓语的时候,用的是do的各个时态.像这句就是原型listen.
而它不做谓语的时候,怎么让人知道它不是谓语呢?一个句子是不能有两个谓语的,所以就要用到非谓语形式.简单的说就是to do和doing
（非专业做答,如有谬误烦请高人告知）