NVR500ルーティング・スループット計測（不具合の原因）

NVR500ルーティング・スループット計測でIPv6 Download方向がUpload方向の1/3程度しかない。原因を探っているうちに、「NVR500 IPv6 ルーティング障害」が発生し、NVR510に更新した。入れ替える前に、未接続状態と運用接続状態で基本的なスループットを計測した。計測時にNVR500と同様にNVR510でもIPv6ルーティング・スループットがDownload方向で低下するのが観測された。
新品の機器でこのような事象発生は考えにくい。計測時にiperf3サーバとiperf3クライアント間経路のスイッチポートLEDだけでなく、PR-S300SEのスイッチポートLEDも点滅していた。解析の結果下記のことが判った。



（１）PR-S300SE設定
電話関連以外の設定変更は、デフォルトから下記の通り軽微。LAN側は、「192.168.1.0/24」でDHCPサーバが機能。IPv6静的ルーティング設定は、PPPoE接続IFだけ有効。DHCPv6-PDでLAN側にリースされるprefixへは、リース先へルーティング。その他は、上位ルータへリンクアドレスで転送。NGN側のDNSサーバへ問い合わせ時に、「prefix::/56+::1::/64+LAN側Modified EUI-64」のIPv6アドレスがソースアドレスとして使われる（記載なし-ping6応答あり）。
上図で「2409:10:XXXX:YY01:225:dcff:fe12:3456/64」。

ファームウェアバージョン：22.01
接続先設定（IPv4 PPPoE）： 未設定
接続先設定（IPv6 PPPoE）： 未設定
DHCPv4サーバ機能： 使用する
IPv6パケットフィルタ設定（IPoE）： icmpv6, 公開サーバ（http/IKEv2）のポート開放
　　「光ネクストPR-S300SEのIPv6 IPoEにICMPv6フィルタ 」
　　「PR-S300SEのIPv6セキュリティフィルタを調整」
　　「China Telecom領域からのIPv6スキャンをフィルタする」
IPv6セキュリティレベル： 高度
LAN側静的ルーティング： 
　　「0.0.0.0/0 gw 192.168.1.51」（Transix DS-Lite IPv4 over IPv6）
　　「192.168.11.0/24 gw 192.168.1.51」
PPPoEブリッジ： 使用する
UPnP設定： 使用する

（２）NVR500設定
IPv4アドレスは、LAN2がdhcp取得（PR-S300SEの再起動時にIPアドレスが変化しないように、「dhcp client option lan2 primary 50=c0,a8,01,33」指定）、LAN1が固定アドレス。IPv6アドレスは、LAN2がRA+Modified EUI-64、LAN1がDHCPv6-PDで委任されたprefixに基づく固定アドレス。LAN1は、DHCPサーバとRA。IPv4公開アドレスからのアクセスは、「ぷららPPPoE接続」経由、その他は、「Transix DS-LiteのIPv4 over IPv6」経由。

ファームウェアバージョン： Rev. 11.00.38
ip route default gateway pp 1 filter 10 11 12 gateway tunnel 1 weight 1000 hide gateway pp 1 weight 1 hide
ipv6 route default gateway dhcp lan2
ipv6 prefix 1 dhcp-prefix@lan2::/64
ip lan1 address 192.168.11.250/24
ipv6 lan1 address dhcp-prefix@lan2::11:250/64
ipv6 lan1 rtadv send 1 o_flag=on
ipv6 lan1 dhcp service server
ip lan2 address dhcp
ipv6 lan2 address auto
ipv6 lan2 dhcp service client

（３）iperf3 on Debian10サーバー
IPv4は、DHCP取得。PR-S300SEの再起動でアドレスが変化しないように、「send dhcp-request-address 192.168.1.57;」を設定。
IPv6は、固定。DHCPv6-PDでprefixの委任を受ける。

/etc/dhcp/dhclient.conf
interface "enp3s0" {
    send dhcp-requested-address 192.168.1.57;
}

/etc/network/interfaces
iface enp3s0 net dhcp
    address 192.168.1.57
    up ip route add 192168.11.0/24 via 192.168.1.51 dev enp3s0
    down ip route del 192.168.11.0/24 via 192.168.1.51 dev enp3s0

iface enp3s0 inet6 dhcp
    autoconf 0
    request_prefix 1

iface enp3s0 inet6 static
    address 2409:10:XXXX:YY00::1:110/64
    gateway 2409:10:XXXX:YY00:225:dcff:fe12:3456

（４）iperf3クライアント on macOS 10.14.6 Mojave
NVR500のLAN1配下のネットワークにDHCP接続

（５）iperf3クライアントからサーバへのUpload経路
iperf3クライアントからiperf3サーバーへのIPv4およびIPv6パケットは、default gatewayであるNVR500へ転送される。NVR500ルータ上では、iperf3サーバーのアドレスがLAN2インタフェースのimplicit経路に適合し、iperf3サーバーへ転送される。

（６）iperf3サーバーからクライアントへのDownload経路
iperf3サーバーからiperf3クライアントへのIPv4パケットは、サーバーのroute tableに「192.168.11.0/24 gw 192.168.1.51」経路がstatic設定されており、適合するためNVR500ルータへ転送され、iperf3クライアントへ転送される。
IPv6パケットは、IPv6 route tableに適合する経路が無いため、DHCPv6-PDで設定されるdefault gateway（PR-S300SE）へ転送される。PR-S300SEでは、NVR500に委任したprefix内の転送先となるためNVR500へ転送され、iperf3クライアントへ転送される。

（７）対策
debian10のIPv6 route tableにIPv6経路を追加する。
これで、IPv6 LAN2->LAN1（Download）方向の経路からPR-S300SEが経由されなくなる。

iface enp3s0 inet6 static
    address 2409:10:XXXX:YY00::1:110/64
    gateway 2409:10:XXXX:YY00:225:dcff:fe12:3456
    up ip -6 route add 2409:10:XXXX:YY10::/60 via fe80::2a0:deff:feAA:BB:CC dev enp3s0
    down ip -6 route del 2409:10:XXXX:YY10::/60 via fe80::2a0:deff:feAA:BB:CC dev enp3s0

大規模ネットワークであれば、ルータ間のRIPv2, BGP4, OSPFv3プロトコルなどで、このような問題発生は無い。個人宅などネットワーク1個でも問題は発生しない。静的経路設定で対応することにした。

（７）再計測
NVR500は、IPv6ルーティング障害でNVR510に変更した。
PR-S300SEのLAN側にVLAN(ID=2)でNVR500のLAN2を接続し、dhcpでIPv4アドレス、DHCPv6-PDでprefix取得、RA+SLAACでIPv6アドレスを設定、LAN1を192.168.5.0/24 LAN2で取得したprefix::/64のネットワーク構成でconfigを変更した（下記）。IPv4だけスループット計測する予定だったが、IPv6スループットも復活してしまった。。。

ipv6 prefix 1 dhcp-prefix@lan2::/64
ip lan1 address 192.168.5.1/24
ipv6 lan1 address dhcp-prefix@lan2::1/64
ipv6 lan1 rtadv send 1
ip lan2 address dhcp
ipv6 lan2 address auto
ipv6 lan2 dhcp service client
dhcp service server
dhcp server rfc2131 compliant except remain-silent
dhcp scope 1 192.168.5.2-192.168.5.191/24
dhcp client option lan2 primary 50=c0,a8,01,32

iperf3 IPv6 Receiver方向のスループット低下は、解消された。Sender方向のスループットで約100Mbpsの変化が発生する。発生するとしばらく続く。「NVR500 IPv6 ルーティング障害」と関係があるのかもしれない。この点を除けば、PR-S300SE配下のネットワークで計測しても、このサイトのNVR500スループット計測と比較して、Sender方向でスループット低下が計測されるが、実環境での計測に問題なさそうである。


確認のため、計測環境のVLANを変更しPR-S300SE配下から切り離し、スループットを計測してみた

ipv6 prefix 1 2409:10:XXXX:YY40::/64
ipv6 prefix 2 2409:10:XXXX:YY00::/64
ip lan1 address 192.168.5.1/24
ipv6 lan1 address 2409:10:XXXX:YY40::1/64
ipv6 lan1 rtadv send 1
ip lan2 address 192.168.1.10/24
ipv6 lan2 address 2409:10:XXXX:YY00::10/64
ipv6 lan2 rtadv send 2
dhcp service server
dhcp server rfc2131 compliant except remain-silent
dhcp scope 1 192.168.5.2-192.168.5.191/24
dhcp scope 2 192.168.1.50-192.168.1.60/24

PR-S300SEを経由しない構成で、IPv6 Receiver（LAN2->LAN1）方向のスループット低下は確認されなかった。Sender（LAN1->LAN2）方向のスループット値が変化する。IPv4もIPv6も同様の傾向がある。稼働中のPR-S300SE配下でスループットを計測しても影響は、軽微。　Sender/Receiver及び計測値の変動は、NVR500の故障が濃厚。中途半端に動作している状態だと安心出来ない。