解题思路：根据余下的三个数的平均数：23、26、30、33，可求出A、B、C、D四个数的和的3倍，再除以3得A、B、C、D四个数的和，再用和除以4即得4个数的平均数．
A、B、C、D四个数的和的3倍：23×3+26×3+30×3+33×3=336；
A、B、C、D四个数的和：336÷3=112；
四个数的平均数：112÷4=28．
答：4个数的平均数是28．
故选：C．
点评：
本题考点： 平均数的含义及求平均数的方法．
考点点评： 此题考查求平均数的方法，解决这类问题就用基本数量关系来求，即总数量÷总份数=平均数．