这里是my spare time 的一部分,而不是在我的业余或休息时间里,估计你是没弄懂这句话的意思.把句子改成这样来看:
The home improvements have taken what little_________ my spare time there is.
从句子结构中我们可以看出what little与my spare time为整体与部分的关系,故只能用of,而选in符合常见的搭配,却不符合语境,也就是说不是要构成短语in my spare time的.what是修饰little的.there is 是there be句型,意思是：有.