可以去掉逗号,关系代词可用 that 或者 which,但不能用 what.that/which 可引导形容词性的定语从句,而 what 只用作引导名词性的从句（做主语、宾语或者表语）.
由于去掉了逗号,原来的非限定性定语从句变成了限定性定语从句.因为被修饰的先行词 patience 是从句的宾语,所以其引导词 that/which 可以省略：
Fishing is a hobby which calls for a great deal of patience [that/which] I don't have.