訂閱
糾錯(cuò)
加入自媒體

一文了解如何使用Python+OpenCV構(gòu)建手部跟蹤系統(tǒng)

OpenCV 是一個(gè)用于計(jì)算機(jī)視覺(jué)應(yīng)用程序的庫(kù)。在 OpenCV 的幫助下,我們可以構(gòu)建大量實(shí)時(shí)運(yùn)行更好的應(yīng)用程序。主要用于圖像和視頻處理?梢栽诖颂帿@取有關(guān) OpenCV 的更多信息

除了 OpenCV,我們將使用 MediaPipe 庫(kù)。MediaPipeMediaPipe是一個(gè)主要用于構(gòu)建音頻、視頻或任何時(shí)間序列數(shù)據(jù)的框架。在 MediaPipe 框架的幫助下,我們可以為不同的媒體處理功能構(gòu)建管道。MediaPipe 的一些主要應(yīng)用。多手追蹤人臉檢測(cè)對(duì)象檢測(cè)和跟蹤Objection:3D 對(duì)象檢測(cè)和跟蹤AutoFlip:自動(dòng)視頻裁剪管道等。

手地標(biāo)模型

MediaPipe 使用單次手掌檢測(cè)模型,一旦完成,它會(huì)對(duì)檢測(cè)到的手部區(qū)域中的 21 個(gè) 3D 手掌坐標(biāo)執(zhí)行精確的關(guān)鍵點(diǎn)定位。MediaPipe 管道使用多個(gè)模型,例如,從完整圖像返回定向手邊界框的手掌檢測(cè)模型。裁剪后的圖像區(qū)域被饋送到由手掌檢測(cè)器定義的手部標(biāo)志模型,并返回高保真 3D 手部關(guān)鍵點(diǎn),F(xiàn)在讓我們實(shí)現(xiàn)手部跟蹤模型。安裝所需的模塊–> pip install opencv-python–> pip install mediapipe首先,讓我們檢查網(wǎng)絡(luò)攝像頭的工作情況。import cv2
import time
cap = cv2.VideoCapture(0)
pTime = 0
while True:
   success, img = cap.read()
   imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
   cTime = time.time()
   fps = 1 / (cTime - pTime)
   pTime = cTime
   cv2.putText(img, f'FPS:{int(fps)}', (20, 70), cv2.FONT_HERSHEY_SIMPLEX, 1, (0, 255, 0), 2)
   cv2.imshow("Test", img)
cv2.waitKey(1)

如果任何網(wǎng)絡(luò)攝像頭連接到你的 PC,上面的代碼將彈出一個(gè)窗口,并在輸出窗口的左上角顯示每秒幀數(shù) (fps),F(xiàn)在讓我們開始實(shí)施。導(dǎo)入所需的模塊并初始化所需的變量。import cv2
import mediapipe as mp
import time
cap = cv2.VideoCapture(0)
mpHands = mp.solutions.hands
hands = mpHands.Hands(static_image_mode=False,
                     max_num_hands=2,
                     min_detection_confidence=0.5,
                     min_tracking_confidence=0.5)
mpDraw = mp.solutions.drawing_utils
pTime = 0
cTime = 0
在上面這段代碼中,我們?cè)趍p.solutions.hand 中聲明了一個(gè)名為“hands”的對(duì)象來(lái)檢測(cè)手部,默認(rèn)情況下,查看類“ Hands() ”內(nèi)部,要檢測(cè)的手部數(shù)量設(shè)置為2、最小檢測(cè)置信度設(shè)置為0.5,最小跟蹤置信度設(shè)置為0.5。我們將使用mpDraw繪制關(guān)鍵點(diǎn),F(xiàn)在讓我們編寫一個(gè) while 循環(huán)來(lái)執(zhí)行我們的代碼。while True:
   success, img = cap.read()
   imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
   results = hands.process(imgRGB)
   #print(results.multi_hand_landmarks)
   if results.multi_hand_landmarks:
       for handLms in results.multi_hand_landmarks:
           for id, lm in enumerate(handLms.landmark):
               #print(id,lm)
               h, w, c = img.shape
               cx, cy = int(lm.x *w), int(lm.y*h)
               #if id ==0:
               cv2.circle(img, (cx,cy), 3, (255,0,255), cv2.FILLED)
           mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)
   cTime = time.time()
   fps = 1/(cTime-pTime)
   pTime = cTime
   cv2.putText(img,str(int(fps)), (10,70), cv2.FONT_HERSHEY_PLAIN, 3, (255,0,255), 3)
   cv2.imshow("Image", img)
   cv2.waitKey(1)
在上面的代碼中,我們從網(wǎng)絡(luò)攝像頭讀取幀并將圖像轉(zhuǎn)換為 RGB。然后我們?cè)凇?hands.process()” 函數(shù)的幫助下檢測(cè)幀中的手。一旦檢測(cè)到手,我們將找到關(guān)鍵點(diǎn),然后使用cv2.circle突出顯示關(guān)鍵點(diǎn)中的點(diǎn),并使用mpDraw.draw_landmarks連接關(guān)鍵點(diǎn)。整個(gè)代碼如下import cv2
import mediapipe as mp
import time
cap = cv2.VideoCapture(0)
mpHands = mp.solutions.hands
hands = mpHands.Hands(static_image_mode=False,
                     max_num_hands=2,
                     min_detection_confidence=0.5,
                     min_tracking_confidence=0.5)
mpDraw = mp.solutions.drawing_utils
pTime = 0
cTime = 0
while True:
   success, img = cap.read()
   imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
   results = hands.process(imgRGB)
   #print(results.multi_hand_landmarks)
   if results.multi_hand_landmarks:
       for handLms in results.multi_hand_landmarks:
           for id, lm in enumerate(handLms.landmark):
               #print(id,lm)
               h, w, c = img.shape
               cx, cy = int(lm.x *w), int(lm.y*h)
               #if id ==0:
               cv2.circle(img, (cx,cy), 3, (255,0,255), cv2.FILLED)
           mpDraw.draw_landmarks(img, handLms, mpHands.HAND_CONNECTIONS)
   cTime = time.time()
   fps = 1/(cTime-pTime)
   pTime = cTime
   cv2.putText(img,str(int(fps)), (10,70), cv2.FONT_HERSHEY_PLAIN, 3, (255,0,255), 3)
   cv2.imshow("Image", img)
   cv2.waitKey(1)
輸出是:

手部追蹤模型輸出現(xiàn)在讓我們創(chuàng)建一個(gè)手部跟蹤模塊,以便我們可以在其他項(xiàng)目中使用它。創(chuàng)建一個(gè)新的 python 文件,首先讓我們創(chuàng)建一個(gè)名為handDetector的類,其中有兩個(gè)成員函數(shù),名為findHands 和findPosition。函數(shù)findHands將接受一個(gè) RGB 圖像并檢測(cè)幀中的手并定位關(guān)鍵點(diǎn),繪制地標(biāo),函數(shù)findPosition 將給出手的位置和 id。然后是我們初始化模塊的 main 函數(shù),我們還編寫了一個(gè) while 循環(huán)來(lái)運(yùn)行模型。你可以在此處將此設(shè)置或模塊導(dǎo)入到任何其他相關(guān)項(xiàng)目作品中。整個(gè)代碼如下import cv2
import mediapipe as mp
import time
class handDetector():
   def __init__(self, mode = False, maxHands = 2, detectionCon = 0.5, trackCon = 0.5):
       self.mode = mode
       self.maxHands = maxHands
       self.detectionCon = detectionCon
       self.trackCon = trackCon
       self.mpHands = mp.solutions.hands
       self.hands = self.mpHands.Hands(self.mode, self.maxHands, self.detectionCon, self.trackCon)
       self.mpDraw = mp.solutions.drawing_utils
       
   def findHands(self,img, draw = True):
       imgRGB = cv2.cvtColor(img, cv2.COLOR_BGR2RGB)
       self.results = self.hands.process(imgRGB)
       # print(results.multi_hand_landmarks)
       if self.results.multi_hand_landmarks:
           for handLms in self.results.multi_hand_landmarks:
               if draw:
                   self.mpDraw.draw_landmarks(img, handLms, self.mpHands.HAND_CONNECTIONS)
       return img
   def findPosition(self, img, handNo = 0, draw = True):
       lmlist = []
       if self.results.multi_hand_landmarks:
           myHand = self.results.multi_hand_landmarks[handNo]
           for id, lm in enumerate(myHand.landmark):
               h, w, c = img.shape
               cx, cy = int(lm.x * w), int(lm.y * h)
               lmlist.a(chǎn)ppend([id, cx, cy])
               if draw:
                   cv2.circle(img, (cx, cy), 3, (255, 0, 255), cv2.FILLED)
       return lmlist
def main():
   pTime = 0
   cTime = 0
   cap = cv2.VideoCapture(0)
   detector = handDetector()
   while True:
       success, img = cap.read()
       img = detector.findHands(img)
       lmlist = detector.findPosition(img)
       if len(lmlist) != 0:
           print(lmlist[4])
       cTime = time.time()
       fps = 1 / (cTime - pTime)
       pTime = cTime
       cv2.putText(img, str(int(fps)), (10, 70), cv2.FONT_HERSHEY_PLAIN, 3, (255, 0, 255), 3)
       cv2.imshow("Image", img)
       cv2.waitKey(1)
if __name__ == "__main__":
   main()
輸出將與上面顯示的相同,以及被跟蹤的手的位置。


聲明: 本文由入駐維科號(hào)的作者撰寫,觀點(diǎn)僅代表作者本人,不代表OFweek立場(chǎng)。如有侵權(quán)或其他問(wèn)題,請(qǐng)聯(lián)系舉報(bào)。

發(fā)表評(píng)論

0條評(píng)論,0人參與

請(qǐng)輸入評(píng)論內(nèi)容...

請(qǐng)輸入評(píng)論/評(píng)論長(zhǎng)度6~500個(gè)字

您提交的評(píng)論過(guò)于頻繁,請(qǐng)輸入驗(yàn)證碼繼續(xù)

  • 看不清,點(diǎn)擊換一張  刷新

暫無(wú)評(píng)論

暫無(wú)評(píng)論

人工智能 獵頭職位 更多
掃碼關(guān)注公眾號(hào)
OFweek人工智能網(wǎng)
獲取更多精彩內(nèi)容
文章糾錯(cuò)
x
*文字標(biāo)題:
*糾錯(cuò)內(nèi)容:
聯(lián)系郵箱:
*驗(yàn) 證 碼:

粵公網(wǎng)安備 44030502002758號(hào)