钱塘江义渡为胡雪岩始创，是一件功德无量之事。杭谚云：“出白屁过钱塘江”，意为得便利而不花一分钱。然而虽可免费渡江，但钱潮起落，流沙无定，当时泥泞的滩涂上无力修筑码头，只得铺以跳板及牛车接驳渡客于岸船之间。钱塘江边的牛车，也成为当年杭州一特色。
等到甬绍铁路将要通车时，便有了建造跨江铁路桥的愿望。但当时均认为西兴段江宽流急，在此修建铁路桥工程浩大，难以实现，有人提出在临浦段建桥或许容易些。想法虽有，而面对汹涌钱江潮，一直缺少建桥的实力，所以旧时杭谚有“钱塘江造桥”一语，比喻不可能办到的事。
一直要到23年后（1937），才由茅以升主持设计建成中国第一座铁路、公路双层跨江大桥——钱塘江大桥。此后，钱塘江义渡才逐渐退出历史舞台。