論語の衛霊公篇第十二章の言葉である。孔子の言葉でも、簡単にそうだね、という一言で終わる類に属する。遠慮とは、遠い先の心配の意味である。それがないと、身近な心配ごとがある、という。これに似た言葉は、管子・戒第25に、「近きに色あれば、遠きに徳あり。・・・近きに徳あれば、遠きに色あり。」とある。そこで、孔子は続く、第十三章で「吾未だ徳を好むこと色を好むがごときものを見ざるなり。」という。後学の孔子は、管氏の言葉を前提にして議論している。問題は、この「色」の解釈である。出典の管仲の言葉をよく見ると、大きな鳥の翼があっても、目の前の河を渡るには小舟を用いるではないか、という比喩をうけた言葉だと分かる。つまり、「色」とは、具象であり、「徳」とは、抽象である。すると、「論語」の第十二章と第十三章とは、合わせて、「近きに色あれば、遠きに徳あり。・・・近きに徳あれば、遠きに色あり。」とある管仲の言葉につき、孔子が第十二章では、遠と近とが二分できない一対の論理だと解説し、さらに、「色」が具象、「徳」が抽象であると述べ、誰しも具象を超えて抽象を好む人はいないのだ、と述べているのである。だから、「色」を美人だと翻訳してはならないのである。仏教でいう「色即是空」の意味の「色」である。