我在高小毕业后（大约在1918年），父亲强调要投考工业学校，我只好遵照父亲的旨意，投考浙江省立甲种工业学校的电机科。虽然被录取了，但因为数学考试成绩不好，第二学期我根据自己的意愿，改选了染织科。因为染织科里，有染织图案和染色等科，总算还有一点绘画造型的意趣。
当我转到染织科的时候，碰到一个和我意趣相同的同学，他的名字叫沈西苓，是沈兹九先生的弟弟。他的父亲是浙江规模最大的纬成公司的负责人之一。当时，沈兹九先生已在日本留学。沈西苓也非常喜欢绘画，但他父亲为了让儿子继承父业，一定要他学染织。这样一来我们俩在染织科成了志同道合的好朋友。我们常常去看染织图案，对各种好看的染色绸布进行研究、讨论。我们还悄悄地参加了名画家丰子恺等人组织的西湖画会。我们每逢星期日或假日一起到西子湖畔写生，孤山的红梅与平湖秋月的莲花，都是我们画笔写生的对象。
1923年，我俩学完浙江甲种工业学校的课程，按照这个学校的制度，每年要收留各专业成绩优秀的毕业生在学校里做教学工作。我被留在母校担任染织科预工场管理和纹科的美术教员。
工场原来的管理员叫都锦生，都锦生就是后来很有名的“都锦生丝织厂”的创办人。我担任了纹工场管理和学校的美术教员后，1925年9月25日这天，带着30多个学生在孤山看风景。湖对岸雷峰塔的倩影倒映在湖中，那景致如诗如画，可画着画着，忽然耳边轰隆一阵闷雷似的，但见对岸灰沙弥漫，一角天都看不清。直至灰沙散尽，咦，奇怪，雷峰塔不见了。原来千百年来就矗立在这儿的雷峰塔，经不起风雨磨蚀和人工破坏，终于倒掉了……
（1927年6月，常书鸿为实现自小到法国求学的理想，离开了学校，离开了杭州，登上了从上海开往法国马赛的船。）