the least of my brothers

Reader's Digest ２月号(2009年)にRick Warren司祭によるオバマ大統領候補とのインタビューの抜粋記事があり、その中に次ぎのようなオバマ氏の発言があります。
"AMERICA'S GREATEST MORAL FAILURE is that we still don't abide by the basic precept that whatever you do for <B>the least of my brothers</B>, you do for me. That basic principle applies to our country's poverty, to racism, to sexism"
この "<B>the least of my brothers</B>" の意味ですが "your youngest brother" と同じと解しているのですがあっているでしょうか？　日本人の英語だと "the least of" と言う表現はまず出てこないので確信がありません。