应当说，秦少游的仕途走得并不如意，用情于那些秦楼楚馆或许有说不出的隐衷。宋哲宗元祐初，在恩师苏轼大力举荐下，秦少游任太学博士，兼国史院编修官。秦观仅当了一两年的国史院编修，就被诬篡改《神宗实录》，御史刘拯弹劾：“（秦观）影附于轼，请正轼罪，褫观职任，以示天下后世。”绍圣初，新党执政，他就开始连遭贬谪。绍圣元年(1094)调任杭州通判。后被贬为处州监酒税。没多久，朝廷又以其他罪名将秦少游削职流放郴州，还除去了秦少游的名籍，继而贬到横州编管。元符二年（1099），贬徙雷州。他的后半生几乎在一连串的贬谪打击中度过。这在相当程度上摧残了他的意志，也改变了他的词风，由早期的轻柔婉丽转为沉痛凄厉。
十七、春去也，飞红万点愁如海
水边沙外，城郭春寒退。花影乱，莺声碎。飘零疏酒盏，离别宽衣带。人不见，碧云暮合空相对。
忆昔西池会，鹓鹭同飞盖。携手处，今谁在？日边清梦断，镜里朱颜改。春去也，飞红万点愁如海。
——《千秋岁》