这是线性变换与矩阵的关系：一个线性变换可以看作是一个矩阵.
例如,x是属于线性空间X的任意一个向量,存在一个y为属于线性空间Y的向量,使得有A矩阵,y = Ax,就可以看作是x通过一种线性变换变到y.此时,“线性变换”与“矩阵”有对应关系.
如果说,把刚才的叙述反过来,Y中的任意一个向量y,都能找到一个线性变换（或者是矩阵B）,使得x2 = By,且x2属于X空间,而且还有y = Ax2,即线性变换B使得y能够变回x,则称线性变换具有可逆性,而且A和B互为逆矩阵.
显然,如果一个线性变换要具有可逆性,则线性空间X和Y必为同维空间,且线性变换矩阵A为方阵（一般的线性变换并不要求线性变换阵为方阵）,而且A必可逆.
进一步可以得到你的那条结论,初等变换都是可逆变换.或者说等价于初等变换阵必然是可逆阵.
这容易证出.挨个证明初等变换阵确实都可逆即可,则一系列初等变换共同作用相当于一堆可逆阵相乘,最后的总变换阵必可逆.