1966年以后，毛泽东住的地方是靠近中南海西门的游泳池。游泳池的房子是木质结构，年久失修，又受邢台地震的影响，墙体开裂，显得简陋不堪。周恩来和汪东兴商量说主席一辈子没享过福，决定在中南海外面为毛泽东建造一处住所，就是现在的“官园少年儿童活动中心”。
  这件事毛泽东起初并不知情。房子盖好后，工作人员报告主席，说官园有一个新的住处，你去看一看吧。毛泽东不表态。连续讲了几次，主席还是没有表态。工作人员就总想动员他去，他们都希望主席能有一个更舒适、更安全的住处，同时也想改善一下自己的居住条件。在游泳池，吴旭君、吴连登等工作人员住在游泳池更衣室里，每间更衣室只有七八平方米，阴暗而狭小。搬到官园，工作人员也能换一个相对好的环境。
  一次，主席和工作人员从人民大会堂出来，工作人员又一次跟主席提起官园的新住所。毛泽东说：“你们叫我去，我就去。”那天大家都挺高兴。马上通知，主席要到官园去了。后来车开到长安街口，主席突然说：“你们把我送进中南海，你们去。”从此以后，谁也不再提官园的事了。