ヤマハ NVR-500のVPNにL2TP/IPSecが使えるよう機能アップされた。早速設定確認してみた。
下記の構成で、DS-216JのVPNでは、IPSecパケットを通過させていたのが、L2TP/IPSecを処理する必要がある。
ヤマハのL2TP/IPSec仕様によれば、各機器が扱う通信データは下記のようになる
NVR-500で扱うVPNのL2TP/IPSecデータを詳細に確認すると
PPPoEで受けっとったデータは、NVR-500のPP01でL2TPを含むIPSecデータを処理する。
この時、DS-216JのVPN（L2TP/IPSec）などと同様にNAT部、Filter部ともにIPSecデータ処理となる。
NAT部は、1:Nのmasquerade（NAPT）のためstatic natで 500/UDP、4500/UDPとESPプロトコルをNVR-500自身で受け取るように設定する。IPSecパケットは、NVR-500内部設定されたL2TP/IPSec Tunnelで処理されL2TPデータとなる。L2TPデータの内PPPデータは、PP anonymous設定でIPv4データとしてローカルネットワーク内へルーティングされる。応答パケットは、L2TP処理後、1701ポートからのIPSecトランスポートモードで処理される。
NVR-500のGUI設定（「詳細設定と情報」「VPN接続の設定」）から実施してみた。
「詳細設定と情報」「VPN接続の設定」「VPN接続の登録」を実施
VPNサーバー（Anonymous）を選択し「次へ」
設定名を設定し、「事前共有鍵」（IPSecの暗号鍵）を設定。
上記は、初期値であるが「認証アルゴリズム」（HMAC-SHA256）は、iPhone６S(iOS11.1)では、接続できなかった。
「暗号化アルゴリズム」(3DES-CBC/AES-CBC/AES256-CBC)は、どれを選択してもiPhone6S(iOS11.1)で接続できた（ヤマハ技術資料の通りDES-CBCは接続できない）。
「PPP認証方式」(PAP/CHAP/CHAP-PAP/MS-CHAP/MS-CHAPv2)は、どれを選択してもiPhone6S(iOS11.1)で接続できた。
「設定の確定」を行うと、必要な設定が全て終了する。設定後の「VPN接続の設定」
GUI設定からは、「静的IPマスカレード」関連設定が、「詳細設定と情報」「基本接続の詳細な設定」のPPPoE接続先である「プロバイダの修正（PP[01])」で確認できる
同様に、「ファイアウォールの設定」「IPv4ファイアウォールの設定[PP01]」で確認できる
L2TP/IPSec接続のためのconfig内容（赤枠内が設定追加された）
L2TP/IPSec仕様によると、L2TP（ポート1701）関連のNAT（masquerade）やFilter設定が不要である記述があったが、簡単設定でVPNを設定すると
「ip filter 200080 pass * 192.168.11.250 udp * 1701」
「nat descriptor masquerade static 1000 1 192.168.11.250 udp 1701」
が定義される。
「詳細設定と情報」「基本接続の詳細な設定」「静的マスカレード関連（フィルタの自動定義：80番〜94番）」で「1」のポート1701に関連する設定を削除し、「詳細設定と情報」「ファイアウォールの設定」「80」の1701ポートに関連するフィルタを削除してみた
（--- 2017/11/9追記：VPN関連設定を簡易設定から行うとポート1701関連の２つの設定が蘇っている。。。 ---）
iPhone6SでDoCoMo回線からL2TP/IPSec接続
（ポート1701関連の２つの設定と無関係のようだ）
ホームネットワーク内のNVR-500設定画面に接続
ユーザを追加してみる。
同時に接続できるVPN数は、最大4。3アカウントまで追加できる。
「詳細設定と情報」「VPN接続の設定」「設定可能なVPN設定」で「追加」する。
L2TP/IPsecを使用したリモートアクセスVPNサーバ（Anonymous）を選択
追加する「接続ユーザID」と「接続パスワード」を設定
追加設定完了
「詳細設定と情報」「コマンドの実行」で
pp select anonymous
pp auth username 接続ユーザID 接続パスワード
を設定して「設定の確定」でも良い。
--- 2019/04/18追記：
ヤマハNVR500のL2TP/IPsec VPNパケットをWiresharkで解析
Win10 VPN接続時のNVR500 L2TP/IPsec ISAKMP復号鍵が壊れて表示
Win10でNVR500 L2TP/IPsec VPNへ接続した時のMTUを確認
ぷららIPv6 IPoE環境のMTU確認
下記の構成で、DS-216JのVPNでは、IPSecパケットを通過させていたのが、L2TP/IPSecを処理する必要がある。
ヤマハのL2TP/IPSec仕様によれば、各機器が扱う通信データは下記のようになる
NVR-500で扱うVPNのL2TP/IPSecデータを詳細に確認すると
PPPoEで受けっとったデータは、NVR-500のPP01でL2TPを含むIPSecデータを処理する。
この時、DS-216JのVPN（L2TP/IPSec）などと同様にNAT部、Filter部ともにIPSecデータ処理となる。
NAT部は、1:Nのmasquerade（NAPT）のためstatic natで 500/UDP、4500/UDPとESPプロトコルをNVR-500自身で受け取るように設定する。IPSecパケットは、NVR-500内部設定されたL2TP/IPSec Tunnelで処理されL2TPデータとなる。L2TPデータの内PPPデータは、PP anonymous設定でIPv4データとしてローカルネットワーク内へルーティングされる。応答パケットは、L2TP処理後、1701ポートからのIPSecトランスポートモードで処理される。
NVR-500のGUI設定（「詳細設定と情報」「VPN接続の設定」）から実施してみた。
「詳細設定と情報」「VPN接続の設定」「VPN接続の登録」を実施
VPNサーバー（Anonymous）を選択し「次へ」
設定名を設定し、「事前共有鍵」（IPSecの暗号鍵）を設定。
上記は、初期値であるが「認証アルゴリズム」（HMAC-SHA256）は、iPhone６S(iOS11.1)では、接続できなかった。
「暗号化アルゴリズム」(3DES-CBC/AES-CBC/AES256-CBC)は、どれを選択してもiPhone6S(iOS11.1)で接続できた（ヤマハ技術資料の通りDES-CBCは接続できない）。
「PPP認証方式」(PAP/CHAP/CHAP-PAP/MS-CHAP/MS-CHAPv2)は、どれを選択してもiPhone6S(iOS11.1)で接続できた。
「設定の確定」を行うと、必要な設定が全て終了する。設定後の「VPN接続の設定」
GUI設定からは、「静的IPマスカレード」関連設定が、「詳細設定と情報」「基本接続の詳細な設定」のPPPoE接続先である「プロバイダの修正（PP[01])」で確認できる
同様に、「ファイアウォールの設定」「IPv4ファイアウォールの設定[PP01]」で確認できる
L2TP/IPSec接続のためのconfig内容（赤枠内が設定追加された）
L2TP/IPSec仕様によると、L2TP（ポート1701）関連のNAT（masquerade）やFilter設定が不要である記述があったが、簡単設定でVPNを設定すると
「ip filter 200080 pass * 192.168.11.250 udp * 1701」
「nat descriptor masquerade static 1000 1 192.168.11.250 udp 1701」
が定義される。
「詳細設定と情報」「基本接続の詳細な設定」「静的マスカレード関連（フィルタの自動定義：80番〜94番）」で「1」のポート1701に関連する設定を削除し、「詳細設定と情報」「ファイアウォールの設定」「80」の1701ポートに関連するフィルタを削除してみた
（--- 2017/11/9追記：VPN関連設定を簡易設定から行うとポート1701関連の２つの設定が蘇っている。。。 ---）
iPhone6SでDoCoMo回線からL2TP/IPSec接続
（ポート1701関連の２つの設定と無関係のようだ）
ホームネットワーク内のNVR-500設定画面に接続
ユーザを追加してみる。
同時に接続できるVPN数は、最大4。3アカウントまで追加できる。
「詳細設定と情報」「VPN接続の設定」「設定可能なVPN設定」で「追加」する。
L2TP/IPsecを使用したリモートアクセスVPNサーバ（Anonymous）を選択
追加する「接続ユーザID」と「接続パスワード」を設定
追加設定完了
「詳細設定と情報」「コマンドの実行」で
pp select anonymous
pp auth username 接続ユーザID 接続パスワード
を設定して「設定の確定」でも良い。
--- 2019/04/18追記：
ヤマハNVR500のL2TP/IPsec VPNパケットをWiresharkで解析
Win10 VPN接続時のNVR500 L2TP/IPsec ISAKMP復号鍵が壊れて表示
Win10でNVR500 L2TP/IPsec VPNへ接続した時のMTUを確認
ぷららIPv6 IPoE環境のMTU確認
アクセス
トータル
モバイルネットワークを使えばVPN接続できるので、NVR500ルーターの設定に問題があるようです。
保安のため最低限で規制を設定したいので、500, 1701, 4500のポートを空けてみましたが、同じエラーが出ていました。
esp プロトコル（プロトコル番号 50）も空けないといけないんでしょうか？空け方がわからなくてまだ困っているところです。
（１）L2TP/IPsecでルータから（クライアント機能）の接続は、仕様にありません。
http://www.rtpro.yamaha.co.jp/RT/docs/l2tp_ipsec/index.html
（２）「IPsec機能」仕様にありません
https://network.yamaha.com/products/routers/nvr500/spec#tab
（３）NVR500ルータ間のVPN接続
「PPTP」を使えば可能かと思います。
https://network.yamaha.com/setting/router_firewall/vpn/connect/two_point_office_nvr500
すみませんが、質問が間違っていました。
NVR500ルーターから直接ではなく、NVR500ルーターの下にある有線および無線クライアントから外部のVPNサーバーに接続ができていません。
同じパソコンでNVR500ルーターに繋いだら「はじめのネゴエーションでのセキュリティエラー」というエラーが出てきますが、携帯の回線をUSBでテザリングするとすぐ接続できました。
ちなみにPPTP形式のVPNサーバーへの接続も同様な状況でした。
> NVR500ルーターに繋いだら「はじめのネゴエーションでのセキュリティエラー」
> というエラーが出てきます
>
上記のようなVPN接続に意味があるかどうかは別として、VPN接続端末にNVR500のDHCPでVPN端末にIPが設定されます。結果、同一ネットワークに同一のMACアドレスを持ち、事なるIPアドレスが要求される事になるのではないでしょうか？
VPN接続端末のIPネットワークと異なるネットワークのIPが設定できるように構成が可能であれば、上記のようなVPN接続が出来るかもしれません。