相宫使其实是宋朝仿照唐制设立的这么一种武职，相当于宋朝的军区司令，名义上在朝中可与宰相匹敌，但是实际上大宋朝廷一不给兵、二不给粮、三不给饷银，就是一个名头。
不过，即便如此，能有此殊荣的放眼整个大宋朝也没几个。
可是，就在这所谓的位极人臣之后没多久啊，韩世忠是挂印封金……呃，也没有金可封……
总之就将这军权原封不动奉还给皇帝。自称“清凉居士”，在西湖畔建了一座翠微亭，他是隐退而去。
韩子温还记得，在这之后，曾经有一位父亲的友人，来到翠微亭家中，在和父亲饮宴之时，这人忠告说：
“良辰啊，这翠微二字乃是衰微的之意，可不算是个吉利的名字啊。”
而自己的父亲韩世忠则只是微微一笑，回答说：“呵，岳鹏举生前曾对我言及，他在尊池州到过一处名为翠微亭的场所，他对那里的风光赞不绝口啊，我只是借其名来用罢了。”
“哎，既是如此，那就更危险了，这若是被秦丞相得知，只会招来不必要的猜忌啊！”
韩子温那时便知道，父亲和那位友人说到的岳鹏举，就是父亲韩世忠的战友和好友岳飞，
韩子温更知道，岳飞是被朝廷格以莫须有的罪名处死的。
“哼，你说，秦……丞相？！”
韩子温清晰的记得那日，那友人提到了秦桧之后，父亲韩世忠的语气之中的不屑，
以及那友人也红着脸告退而去的囧态。
就这样，自从韩世忠辞官之后，一生几乎都在战场上度过的他，终于在五十岁后，在翠微亭中和妻子梁红玉及十名家仆一同度过着他的晚年生活。
由于韩世忠曾经被金兵淬毒的兵刃砍伤，所以他两只手加起来只剩下六个指头，他每天就用这不自然的手到西湖边垂钓，而伺候随行的小童，肩上总是扛着一个大酒葫芦。
虽然韩世忠隐居西湖，但也并不是就此断了所有的交际，有时也会有客人过来小酌几杯，不过，不管怎么醉，韩世忠也绝口不再提任何有关军事方面的事情。
韩世忠劝儿子韩子温出任文官，不想让儿子和自己一样在战场上打打杀杀的。
所以，后来当韩子温科举通过时，韩世忠高兴的像个孩子一样。
再后来，韩世忠对佛道之事产生兴趣，从此不再进入临安城一步，唯一的一次，就是太后王氏和徽宗赵佶的遗体一起自金国返国之时，那一次韩世忠入了朝，参上拜旧。
对于无法将徽钦二帝从金国解救出来这件事，韩世忠一直视为自己此生最大的遗憾，他在弥留之际曾对梁红玉和三个儿子说过：
“好了，你们母子不要悲伤了，想我一介平民，袭着战功得到功名利禄，最后竟然还能够死在自己家里，有贤妻孝子在侧，这已经是最幸福的死法了，想想先帝，只能客死他乡，我竟比先帝的境遇还要强上许多啊，这样，你们还有什么可悲伤的呢？”
