一、安裝Orbbec電腦軟體

文章中使用攝影機是Gemini 2, 是 Orbbec 的一款高性能寬視野3D相機,如果想解析度在高可使用 Femto Bolt iToF 3D 攝影機。以及實際執行硬體是Window11電腦。

進入網址分別下載電腦執行軟體與驅動程式:

https://www.orbbec.com/developers/orbbec-sdk/

▼兩條畫紅色底線分別是執行軟體與驅動程式

▼畫紅色底線分別是Window11電腦執行軟體

▼開啟OrbbecViewer軟體,左上紅框是選擇深度攝影機,中間上方綠框是開啟深度與RGB畫面

二、安裝Orbbec SDK

如果想將深度攝影機應用在機器人、無人機、互動體感裝置等,通常需要一個運算能力較強的單板電腦,比如樹莓派、Jetson Orin、IPC等。我們以工業級IPC(UP7000)和Ubuntu 22.04系統作為後續安裝和執行範例的參考。若使用其他主板,也可以參照下面的命令進行安裝。

參考安裝深度攝影機SDK網址

https://github.com/orbbec/pyorbbecsdk?tab=readme-ov-file

深度攝影機SDK安裝教學網頁

範例1. 開啟RGB與深度影像

安裝完成 SDK 後,如果在主板桌面上出現了名為 pyorbbecsdk 的資料夾,接下來可以在終端機中依次輸入以下指令:

cd pyorbbecsdk
# set PYTHONPATH environment variable to include the lib directory in the install directory
export PYTHONPATH=$PYTHONPATH:$(pwd)/install/lib/ 
# install udev rules
sudo bash ./scripts/install_udev_rules.sh
sudo udevadm control --reload-rules && sudo udevadm trigger
#開啟深度影像

python3 examples/depth_viewer.py

#開啟RGB影像

python3 examples/color_viewer.py

▼左邊是RGB影像與右邊是深度影像

範例2. 顯示中心點距離

執行下方指令:

python3 examples/display.py

有了深度感測,你可以嘗試實現一些體感互動,比如加入條件判斷,當檢測到距離低於50公分時撥放一些音效。

▼取中心點深度距離並顯示

換你試試看:顯示3個點深度距離

隔空鋼琴是一種利用體感技術實現的音樂互動方式。通過深度感測技術,系統可以追蹤使用者手部或其他物體的位置和動作,並根據其在對應的位置和撥放音樂。這種互動方式可以讓人們在沒有實際樂器的情況下,通過手勢即興演奏出音樂,提供了一種全新的音樂體驗。

▼取3個點深度距離並顯示

三、安裝intel Realsense SDK

SDK 允許深度和​​顏色串流,並提供內在和外在校準資訊,該庫還提供合成串流(點雲、與顏色對齊深度 ) ,進入此網址依步驟安裝:https://github.com/IntelRealSense/librealsense/

更多深度攝影機內容請點選我(連結)

其他文章:

  1. 【技術】淺談3D深度攝影機與應用(1/3)
  2. 【技術】淺談3D深度攝影機與應用(2/3)
  3. 【技術】淺談3D深度攝影機與應用(3/3)
  4. 【技術】淺談 ToF 3D 攝影機的原理