Record CSI-Camera to h264 video

gst-launch-1.0 nvarguscamerasrc ! 'video/x-raw(memory:NVMM), width=1920, height=1080,format=NV12, framerate=30/1' ! nvvidconv ! 'video/x-raw(memory:NVMM), format=(string)I420' ! nvv4l2h264enc preset-level=4 MeasureEncoderLatency=1 ! 'video/x-h264, stream-format=(string)byte-stream, alignment=(string)au' ! filesink location=file.h264 -e 

gst-launch-1.0 filesrc location=file.h264 ! h264parse ! nvv4l2decoder ! nvvidconv ! nveglglessink -e

TLT+DeepStream on ICDAR-2013

到 ICDAR-2013 的網站下載圖片和標註

ICDAR-2013 在 Robust Reading Competition 網站

要下載前要註冊

選 Challenges/Focused Scene Text

2013 的文字比較正，標註只有兩點

2015 的文字有各種角度，標註有四點

產生 kitti 資料時，直接使用訓練效果不好

轉換圖形時採用不同策略，一圖拆成多圖

截圖時不要破壞文字

TLT 有測試過 detectnet_v2 (resnet18, resnet50, darknet19), object_detection yolov3 (darknet19)

detectnet_v2 之 resnet18 precision: 14.6133 %

雖然 precision 不高，但是 tlt-infer 可以正確抓到文字

detectnet_v2 之 darknet19 precision: 18.7146 %

但 detectnet_v2 之 darknet19 失敗，tlt-infer 可以無法正確抓到文字

yolov3 之 darknet19 AP: 0.769

效果比 detectnet_v2 好

最看重 TLT 的功能是 tlt-prune, 神經網路被裁剪後

節省記憶體，加快速度

unprune Mem:2.5G   PREF:8.33

0.5        Mem:2.1G    PREF:28.83

0.7        Mem:2.1G    PREF:30.00

DeepStream 之 nvinfer 的 config-file-path 設定檔

tlt-encoded-model=yolo_darknet19_pruned_70.etlt

model-engine-file=yolo_darknet19_pruned_70.engine

第一次啟動會很慢，因為在產生 yolo_darknet19_pruned_70.etlt_b1_gpu0_fp16.engine 檔

$ mv yolo_darknet19_pruned_70.etlt_b1_gpu0_fp16.engine yolo_darknet19_pruned_70.engine

之後會直接使用 yolo_darknet19_pruned_70.engine

以下是測試歷程記錄

Build TensorRT OSS on Jetson

參考 TensorRT Open Source Software (OSS)

更新 CMake
$ wget http://www.cmake.org/files/v3.13/cmake-3.13.0.tar.gz
$ tar xpvf cmake-3.13.0.tar.gz cmake-3.13.0
$ cd cmake-3.13.0
$ ./bootstrap --system-curl
$ make -j4

$ sudo ln -s /home/nano/Data/cmake-3.13.0/cmake /usr/local/bin/cmake

$ git clone -b release/7.1 https://github.com/nvidia/TensorRT

$ cd TensorRT/

$ git submodule update --init --recursive

$ export TRT_SOURCE=`pwd`

$ cd $TRT_SOURCE

$ mkdir -p build && cd build

$ /usr/local/bin/cmake .. -DGPU_ARCHS=53 \

-DTRT_LIB_DIR=/usr/lib/aarch64-linux-gnu/ \

-DCMAKE_C_COMPILER=/usr/bin/gcc \

-DCMAKE_CUDA_COMPIILER=/usr/local/cuda-10.2/bin/nvcc \

-DTRT_BIN_DIR=`pwd`/out

$ make nvinfer_plugin -j$(nproc)$ mkdir backup
$ sudo mv /usr/lib/aarch64-linux-gnu/libnvinfer_plugin.so.7.1.3 backup
$ sudo cp libnvinfer_plugin.so.7.1.3 /usr/lib/aarch64-linux-gnu/libnvinfer_plugin.so.7.1.3
$ sudo ldconfig

由此下載 tlt-converter

$ mkdir tlt-converter

$ mv tlt_7.1.zip tlt-converter

$ cd tlt-converter

$ unzip tlt_7.1.zip

$ vi ~/.bashrc 加入
export TRT_LIB_PATH=”/usr/lib/aarch64-linux-gnu”
export TRT_INC_PATH=”/usr/include/aarch64-linux-gnu”