should have done在语法中确实可以表示虚拟,意为“本该做某事（而实际上没有做那件事）”.
如果你这样翻译的话,原文的逻辑就变成了：你本应该拜访宾利先生,因为你没有去拜访过宾利.因此从逻辑上看,把should have done理解成虚拟式说不通的.
但如果你曾仔细阅读过语法书的话,你就会知道should用作情态动词时,是可以翻译成“竟然”的,这表式说话人一种惊讶的语气.而这里should后面接的have gone是用完成时表示“拜访”的动作发生在过去已经完成,仅此而已.
判断虚拟一般不能单纯地套用形式,而是要先理解文意,灵活贯通一些.