“归来堂”，取义于陶渊明《归去来兮辞》 。其时，曾对李清照极为称赏的文学家晁补之与李清照之父同以保守党身份罢官归隐，自号“归来子”。