NVIDIA Jetson Nano と Intel RealSense Depth Camera D435i

◆NVIDIA Jetson Nano に Intel RealSense Depth Camera D435i を接続する手順

１．準備
●CPU: NVIDIA Jetson Nano開発キット
●SD: SDSQXCY-128G-GN6MA
●AC/DC: LTE36ES-S1-301(DC5V 6.2A)
●Camera: Intel RealSense Depth Camera D435i
●FAN: PEAD14028BH(Max:20000rpm)
●WiFi: intel 8265NGW

２．スワップ領域確保
参考記事：Jetson Nano - RealSense Depth Camera - JetsonHacks

~$ git clone https://github.com/jetsonhacksnano/installSwapfile
~$ cd installSwapfile
~$ ./installSwapfile.sh
~$ cd ..

３．ドライバインストール
~$ git clone https://github.com/jetsonhacksnano/installLibrealsense
~$ cd installLibrealsense
~$ ./installLibrealsense.sh -c

４．OSパッチ適用
~$ ./patchUbuntu.sh
~$ shutdown -P

５．アプリケーション

付属のUSBケーブルでJetson nanoと接続
Jetson nanoの電源再投入
~$ cd /usr/local/bin
~/.../bin$ realsense-viewer

Stereo Module と　RGB Camera をON
InfoボタンをONして、シリアル番号を控える
ビューアを閉じる
~/.../bin$ rs-align-advanced

距離スケールを０．３ｍに変更すると、RaspberryPiカメラが見えてくる

距離スケールを０．７ｍに変更すると、紙コップが見えてくる

━以上━

NVIDIA Jetson Nano で jetson-inferenceの実行

◆NVIDIA Jetson Nano で推論デモプログラムの実行

１．準備
●CPU: NVIDIA Jetson Nano開発キット
●SD: SDSQXCY-128G-GN6MA
●AC/DC: LTE36ES-S1-301(DC5V 6.2A)
●Camera: Raspberry Pi カメラモジュールV2
●FAN: PEAD14028BH(Max:20000rpm)
●WiFi: intel AC8265NGW

２．環境構築
参考記事：Getting started with the NVIDIA Jetson Nano - PyImageSearch

~$ sudo apt update
~$ sudo apt upgrade
を実行
テキストエディタnanoをインストール
~$ sudo apt -y install nano
タスクマネージャーhtopをインストール
~$ sudo apt -y install htop
★システムパッケージの整備
~$ sudo apt install git cmake
~$ sudo apt install libatlas-base-dev gfortran
~$ sudo apt install libhdf5-serial-dev hdf5-tools
~$ sudo apt install python3-dev
★swap領域の作成
~$ fallocate -l 4G swapfile
~$ chmod 600 swapfile
~$ mkswap swapfile
~$ sudo swapon swapfile
~$ swapon -s
★Python環境を整備
~$ wget https://bootstrap.pypa.io/get-pip.py
~$ sudo python3 get-pip.py
~$ rm get-pip.py
~$ sudo pip install virtualenv virtualenvwrapper
~/.bashrcにエディタで

# virtualenv and virtualenvwrapper
export WORKON_HOME=$HOME/.virtualenvs
export VIRTUALENVWRAPPER_PYTHON=/usr/bin/python3
source /usr/local/bin/virtualenvwrapper.sh
を 最終行に追加

保存して、エディタ終了
~/.bashrcの内容をリロード
~$ source ~/.bashrc
★Python仮想環境を構築
~$ mkvirtualenv deep_learning -p python3
環境名は deep_learning とした
TensorFlow と Keras のインストール
★仮想環境へ
~$ workon deep_learning
NumPyのインストール
(deep_learning)~$ pip install numpy
Jetson Nano用 TensorFlow のインストール
(deep_learning)~$ pip install --extra-index-url https://developer.download.nvidia.com/compute/redist/jp/v42 tensorflow-gpu==1.13.1+nv19.3
(deep_learning)~$ pip install scipy
(deep_learning)~$ pip install keras

３．jetson-inference のビルド
参考記事：dusty-nv/jetson-inference

(deep_learning)~$ git clone https://github.com/dusty-nv/jetson-inference
(deep_learning)~$ cd jetson-inference
(deep_learning)~/jetson-inference$ git submodule update --init
(deep_learning)~/jetson-inference$ mkdir build
(deep_learning)~/jetson-inference$ cd build
(deep_learning)~/.../build$ cmake ../
(deep_learning)~/.../build$ make
(deep_learning)~/.../build$ sudo make install
(deep_learning)~/.../build$ deactivate
~/.../build$ cd
~$ reboot
※再起動したら、後始末
~$ rm swapfile

４．jetson-inference の実行
参考記事：dusty-nv/jetson-inference

※この後の動作は、熱暴走する可能性があるので必ずファンを回す事

~$ cd jetson-inference/build/aarch64/bin/
~/.../bin$ ./imagenet-console orange_0.jpg output_0.jpg

97.891% orange と認識した

参考記事：dusty-nv/jetson-inference

~/.../bin$ ./imagenet-camera googlenet

Raspberry Pi カメラにコアラの写真を見せると、Koala と判断

参考記事：dusty-nv/jetson-inference

~/.../bin$ ./detectnet-console dog_1.jpg output_1.jpg coco-dog

犬を検出する

━以上━

NVIDIA Jetson Nano サンプル実行

◆NVIDIA Jetson NanoのJetPackサンプル実行

１．準備
●CPU: NVIDIA Jetson Nano開発キット
●SD: SDSQXCY-128G-GN6MA
●AC/DC: LTE36ES-S1-301(DC5V 6.2A)
●Camera: Raspberry Pi カメラモジュールV2
●FAN: PEAD14028BH(Max:20000rpm)
●WiFi: intel 8265NGW

２．TensorRT
参考記事：ここ
★C++でのサンプル実行
cp -r /usr/src/tensorrt/ ~/
cd ~/tensorrt/samples/
make -j4
cd ../bin
./sample_mnist

実行結果を表示
./sample_onnx_mnist

実行結果を表示

３．CUDA
参考記事：ここ
※参考記事はVersion10.1で記述してある
Jetson Nano の Jetpackは CUDA Version10.0であることに注意
cp -r /usr/local/cuda-10.0/samples/ ~/
cd ~/samples/
make -j4

ビルドが完了するまで約1時間
cd ./bin/aarch64/linux/release/
./nbody

グラフィックデモを表示

４．VisionWorks
参考記事：ここ
/usr/share/visionworks/sources/install-samples.sh
cd ~/VisionWorks-1.6-Samples
make
cd bin/aarch64/linux/release
./nvx_demo_feature_tracker

グラフィックデモを表示

参考記事：ここ
入力をRaspberry Pi カメラモジュールV2 へ切替える
./nvx_demo_feature_tracker --source="device:///nvcamera?index=0"

Raspberry Pi カメラに切替わり、リアルタイムに処理している様子

━以上━

NVIDIA Jetson Nano 動作確認

◆NVIDIA Jetson NanoのOS起動後、接続機器の動作確認

１．準備

●CPU: NVIDIA Jetson Nano開発キット
●SD: SDSQXCY-128G-GN6MA ※16GB から 128GB へ変更
●AC/DC: LTE36ES-S1-301(DC5V 6.2A)
●Camera: Raspberry Pi カメラモジュールV2
●FAN: PEAD14028BH(Max:20000rpm)
●WiFi: intel 8265NGW

２．ファン

参考記事：ここ
sudo /usr/bin/jetson_clocks

ファンが最大回転数で動作

sudo sh -c 'echo 128 > /sys/devices/pwm-fan/target_pwm'

ファンの回転数が下がる

 

３．WiFi

参考記事：ここ
トップバーのネットワークをクリック

目的のWiFiを探して、クリック

パスワードを入力して、＜Connect＞をクリック

目的のWiFiが表示される

ifconfig wlan0

IPアドレスを確認

 

４．カメラ

ls -l /dev/viceo0

正常にカメラが接続されていると video0 が表示される

nvgstcapture

ライブビューのウィンドウが開く

 

━以上━

NVIDIA Jetson Nano OS起動まで

◆NVIDIA Jetson Nanoの組立からOSの起動までを記述

１．準備

●CPU: NVIDIA Jetson Nano開発キット
●SD: TS16GSDHC10U1
●AC/DC: LTE36ES-S1-301(DC5V 6.2A)
●Camera: Raspberry Pi カメラモジュールV2
●FAN: PEAD14028BH(Max:20000rpm)
●WiFi: intel 8265NGW
●Tool: SD Card Formatter 5.0.1
balenaEtcher 1.5.39

 

GPUボードを取り外す

intel 8265NGWをネジ止め

アンテナケーブルを絶縁テープで養生

GPUボードを取付ける

ファン取付穴にＭ３ネジ穴加工をする

ファンを取付ける

収納箱から置台を組み立てる

Jetson Nanoを載せる

Raspberry Pi Camera V2を接続する
リボンケールの向きに注意

ジャンパーJ48をショート、ACアダプタから電力を供給を有効に

ジャンパーJ40 1-2ピンにパワースイッチを接続

ジャンパーJ40 5-6ピンにリセットスイッチを接続

ジャンパーJ40 7-8ピンをショート

 

３．OSの準備

ここの Introduction から Trubleshooting を一読

SDカードをSD Card Formatter でフォーマット

ここへアクセス

Jetson Nano Developer Kit SD Card Image を選択してダウンロード
ダウンロードした jetson-nano-sd-r32.1-2019-03-18.zip を解凍

jetson-nano-sd-r32.1-2019-03-18.img を balenaEtcher でコピーする
コピーが完了するとフォーマットしますか？の問い合わせが12回出現する
無視して、ハードウェアを安全に取り外してメディアを取り出す

SDカードをJetson Nanoに挿入

 

HDMIモニタ、マウス、キーボード、Ethernetを接続

最後にACアダプタを接続
パワースイッチを押下

ロゴの表示

System Configuration が表示され、 ライセンスを承諾して＜Continue＞をクリック

言語は英語を選択して＜Continue＞をクリック

キーボードは Japanese-Japanes(OADG 109A) を選択して＜Continue＞をクリック

地域は Tokyo を選択して＜Continue＞をクリック

ユーザー名とパスワードを入力して＜Continue＞をクリック

 

ユーザー名とパスワードを入力してログインする

ubuntu 18.04 LTSのディスクトップ画面が表示

ここまでの内容をディスクイメージとして保存する事

━以上━