退思园的名字来源就是退而思过。
当年被辞官而退归故里的主人，应该没想过他郁闷时期的居所，以后会成为世界文化保护遗产。对于当时“修身齐家治国平天下”的主流思想来说，失去了做官的前程，主人在雾色苍苍时回到这里，终极的人生目标突然被中断，心中必定充满了失落和迷惘。幸而，他还有些余钱，而他的家乡正好在江南，他的邻居有很多手巧的工匠，于是，轻轻叹息一声之后，写公文的手开始摆弄起粗糙的太湖石，诗书里经纶天下的学问被暂时放在一边，所有被压抑的才华全部放在了土木工程里，这里挖个小湖，那里种棵乌桕，河水应该从哪里流进来，哪里流出去。要造的不仅仅是一座身体的居所，所有文人特有的幽雅和忧伤统统被化作真实的草木，成为一座精神的归宿。
园子建好了，主人满意的拍拍手，漂亮的亭台楼阁并不能疏解内心深处的遗憾，站在门口独对秋月，主人又想起了他的毕生事业，想起他从这里出发的初衷，想起所经挫折的前因后果，想起他读过的圣贤诗书，《左传》里有一句“进思尽忠，退思补故”，必定使黯然归来的主人深有所感，于是这里从此叫退思园。
园主名叫任兰生，有一个好名字，但在中国政治和文化史上默默无闻。
