Penelitian ini menggunakan Convolutional Neural Network (CNN) yang merupakan salah satu metode dalam Deep Learning untuk mendapatkan tingkat keberhasilan pengenalan tangan yang tinggi dari hasil pendeteksian. Untuk proses pendeteksian citra tangan digunakan Algoritma YOLOv3. Metode YOLO (You Only Look Once) adalah pendekatan terbaru dalam dunia pendeteksi objek, untuk memenuhi persyaratan deteksi dengan akurasi maupun kecepatan tinggi dan operasi secara langsung (real-time). Pendeteksian tangan dilakukan terhadap input berupa video hasil perekaman data dari kamera smartphone yang memuat bahasa isyarat tangan. Data dalam penelitian ini menggunakan citra 26 huruf. Parameter yang dianalisis pada penelitian ini di antaranya yaitu akurasi, presisi, recall, F1 score, IoU (Intersection over Union) dan mAP (mean Average Precision). IoU digunakan untuk mengukur akurasi deteksi objek pada dataset. mAP digunakan untuk mengevaluasi model deteksi objek seperti YOLO. Penulis menggunakan dataset sebanyak 300 gambar yaitu huruf A sampai Z. Hasil penelitian menunjukkan sistem deteksi objek YOLO dapat mengenali objek secara konsisten dengan akurasi yang didapatkan untuk huruf tangan adalah sebesar 50%-90% dengan menggunakan pre-trained weights yang telah dilatih menggunakan dataset ImageNet dan sudah dapat mengenali warna, tekstur dll. Pre-trained weights tersebut memiliki nilai mAP sebesar 82.90% dengan presisi 99% dan average IoU 85.39%. Penelitian ini menghasilkan performa yang cukup baik untuk mendeteksi isyarat tangan.