你的理解是错误的,理由是：
1.that有时只是相当于in which,at which,for which,而不是等于他们.用that来引导定语从句并不是简单地代替了in which,at which,for which等这样的词组,而是这些词组在从句中的省略.你的那句实际上是这样的：
We arrived the day that they left on the day/on which.
that 在从句里没有中文意思,也不充当某个成份,而仅仅起个引导的作用.
2.你还觉得that 在定语从句里只可能做主语或者宾语,我好象没有见过,为了讨论,你能给些例子吗?