当时大家嘲笑讽刺高世荣，说：“向来都尉，恰如弥勒降生时；此去人间，又到如来吃粥处。”以前当驸马都尉的时候，如同弥勒佛降生，天天乐得合不拢嘴，过着神仙一般的日子；忽然间老婆有成了假公主，驸马都尉也当不成了，就好像神仙忽然跌落人间，到了如来未成佛前到处要饭喝粥的地方。
韦氏这样狠毒的婆婆自然让人害怕，她又是赵构的亲妈，还对吴皇后不感冒。一时间，吴皇后地位岌岌可危，说不定还会性命难保。不过吴皇后确实非常会处理后宫问题，她不搞宫斗，事实上也没法斗。赵构再爱她，也不敢为了她担上不孝的罪名，再说赵构这人确实也很孝顺。