SignSound – Hệ Sinh Thái AI & AR Thời Gian Thực Phá Vỡ Rào Cản Giao Tiếp Cho Người Khiếm Thính

SignSound – Hệ Sinh Thái AI & AR Thời Gian Thực Phá Vỡ Rào Cản Giao Tiếp Cho Người Khiếm Thính

Cá nhân: Võ Nguyễn Đại Hiếu

Lĩnh vực Khác

Lượt bình chọn:

Cá nhân:

Sinh viên Võ Nguyễn Đại Hiếu là sinh viên Khoa Công Nghệ Số, Trường Đại Học Sư Phạm Kỹ Thuật

Giới thiệu sản phẩm:

Thiết Bị Đeo Thực Tế Ảo Thông Minh Hỗ Trợ Giao Tiếp Cho Người Khiếm Thính Kết Hợp Mô Hình AI Deep Learning là hệ thống kính thực tế ảo (AR) tích hợp trí tuệ nhân tạo, hỗ trợ người khiếm thính giao tiếp trong đời sống hàng ngày. Hệ thống hoạt động bằng cách nhận diện giọng nói của người đối diện theo thời gian thực, xử lý và chuyển đổi thành video ngôn ngữ ký hiệu Việt Nam (Vietnamese Sign Language – VSL) hiển thị trực tiếp trên màn hình LCD gắn trong kính, giúp người khiếm thính hiểu được nội dung cuộc trò chuyện một cách tức thì.
Theo thống kê của Tổ chức Y tế Thế giới (WHO), trên thế giới có khoảng 466 triệu người bị suy giảm thính lực, trong đó Việt Nam có khoảng 2,5 triệu người khiếm thính. Rào cản lớn nhất mà cộng đồng này phải đối mặt là việc giao tiếp hàng ngày – khi phần lớn người bình thường không biết ngôn ngữ ký hiệu, và các công cụ hỗ trợ hiện có (phiên dịch viên, ứng dụng text-to-speech) vẫn còn nhiều hạn chế về tính tiện lợi và khả năng phổ cập. Signify ra đời với mục tiêu xóa bỏ rào cản giao tiếp này thông qua việc kết hợp ba trụ cột công nghệ: Internet of Things (IoT), Machine Learning (ML) và Xử lý ngôn ngữ tự nhiên (NLP) chuyên biệt cho tiếng Việt.
Hệ thống Signify được xây dựng theo kiến trúc phân tầng gồm 5 thành phần chính:
Tầng 1 – Thiết bị IoT (Raspberry Pi Zero 2W): Gắn trên kính, thu âm giọng nói qua microphone USB, thực hiện lọc âm thanh sơ bộ bằng Voice Activity Detection (VAD), phát hiện đoạn tiếng nói và gửi lên server qua WebSocket. Đồng thời nhận kết quả trả về và phát video ngôn ngữ ký hiệu trên màn hình LCD 1.3 inch SPI (240x240 pixel) tích hợp trong kính.
Tầng 2 – Backend Server (FastAPI + Python): Nhận audio stream từ thiết bị IoT qua giao thức WebSocket, thực hiện nhận dạng giọng nói (speech-to-text) bằng mô hình Faster-Whisper, sau đó đưa qua pipeline xử lý ngôn ngữ tự nhiên 6 bước để chuyển đổi tiếng Việt sang cấu trúc ngữ pháp VSL.
Tầng 3 – Mô hình AI (Transformer + BiLSTM Hybrid): Mô hình deep learning tự phát triển, kết hợp Transformer Encoder và Bidirectional LSTM, chuyên dụng cho việc sắp xếp lại trật tự từ từ ngữ pháp tiếng Việt sang ngữ pháp VSL (word reordering).
Tầng 4 – Ứng dụng di động (Flutter): Giao diện cross-platform cho phép người dùng tương tác, cấu hình và sử dụng hệ thống trên cả iOS và Android.
Tầng 5 – Server render video 3D: Hệ thống render video ngôn ngữ ký hiệu 3D sử dụng WebGL và ký hiệu HamNoSys, tạo ra kho video hơn 3.575 ký hiệu VSL.
Quy trình chuyển đổi từ giọng nói sang VSL trải qua các bước sau:
Bước 1 – Phát hiện giọng nói (VAD): Sử dụng WebRTC VAD trên Raspberry Pi để phát hiện đoạn tiếng nói, lọc bỏ đoạn im lặng và nhiễu nền. Áp dụng kỹ thuật preroll buffer (300ms) để không cắt mất đầu câu, và hangover frames (450ms) để tránh cắt giữa câu.
Bước 2 – Nhận dạng giọng nói (ASR): Audio được gửi lên server qua WebSocket và xử lý bằng Faster-Whisper (tối ưu gấp 4-8 lần so với OpenAI Whisper gốc). Transcribe trực tiếp từ NumPy float32 (không qua file WAV tạm) giúp giảm độ trễ I/O.
Bước 3 – Lọc văn bản: Loại bỏ filler words (ừ, ờ, à, um, uh...), noise pattern (chuỗi ký tự lặp), câu trùng lặp, và câu quá ngắn.
Bước 4 – Chuẩn hóa văn bản: Unicode NFC normalization, chuẩn hóa dấu câu, xử lý compound words (từ ghép dùng dấu gạch dưới), loại bỏ khoảng trắng thừa.
Bước 5 – Tách từ tiếng Việt và chuẩn hóa đồng nghĩa: Phân đoạn từ tiếng Việt sử dụng thư viện Underthesea, xử lý từ ghép và cụm từ. Kết hợp Longest-match tokenization so với từ điển VSL. Ánh xạ các từ đồng nghĩa về dạng chuẩn trong từ điển VSL (ví dụ: "thầy", "cô giáo" được ánh xạ về "giáo_viên"). Nhận diện và gộp các token số liên tiếp thành số hoàn chỉnh, gán ký hiệu tay phù hợp cho từng chữ số.
Bước 6 – Sắp xếp lại trật tự từ bằng AI: Mô hình Transformer + BiLSTM hybrid dự đoán vị trí mới của từng từ trong câu theo ngữ pháp VSL, kết hợp POS tagging, pattern matching, và grammar rules. Sử dụng phương pháp cascade: Pattern matching → Grammar rules → ML model.
Hệ thống áp dụng kiến trúc đa luồng để đảm bảo hoạt động real-time. Luồng audio (Asyncio) ghi âm liên tục, xử lý VAD, gửi dữ liệu audio qua WebSocket – không bao giờ bị block bởi video playback. Luồng video (Threading) sử dụng hàng đợi job (video queue, tối đa 3 job, tự động drop oldest) để phát video ký hiệu song song với thu âm, hỗ trợ fingerspelling fallback cho từ chưa có video. Luồng hiển thị LCD tối ưu SPI communication ở 32MHz, frame skip thông minh để đạt 18 FPS, chuyển đổi BGR sang RGB565 tối ưu bằng NumPy vectorized operations. Cơ chế backpressure trên server đảm bảo chỉ một lần transcribe mỗi connection tại mỗi thời điểm, giữ lại 0.2 giây audio tail khi bận, throttle buffering messages tối đa 8 message/giây.
Toàn bộ hệ thống hoạt động với độ trễ end-to-end dưới 2 giây từ lúc người đối diện nói đến lúc hiển thị video ký hiệu trên kính, đạt mục tiêu giao tiếp real-time thực sự.

Tính sáng tạo và đổi mới:

1.MÔ HÌNH AI TÙY CHỈNH: TRANSFORMER + BiLSTM HYBRID
Điểm sáng tạo nổi bật nhất của kính thực tế ảo là việc tự nghiên cứu và phát triển mô hình deep learning chuyên biệt cho bài toán sắp xếp lại trật tự từ (word reordering) từ ngữ pháp tiếng Việt sang ngữ pháp Ngôn ngữ Ký hiệu Việt Nam (VSL) – một bài toán chưa có lời giải tối ưu trên thế giới. Ngữ pháp VSL khác biệt căn bản so với ngữ pháp tiếng Việt nói: thứ tự từ, cách biểu đạt phủ định, câu hỏi, thời gian đều tuân theo quy tắc riêng.
Kiến trúc mô hình bao gồm:
Embedding Layer kết hợp Sinusoidal Positional Encoding: Biểu diễn từ dưới dạng vector embedding 512 chiều kết hợp mã hóa vị trí dựa trên hàm sin/cos (theo paper “Attention is All You Need” của Google), giúp model nhận biết vị trí tương đối của từ trong câu.
Transformer Encoder (4 lớp, 8 attention heads, feed-forward 2048 chiều): Sử dụng cơ chế Pre-Norm (LayerNorm trước Attention – khác biệt so với chuẩn Post-Norm) giúp huấn luyện ổn định hơn. Activation function GELU thay vì ReLU truyền thống để cải thiện gradient flow.
Bidirectional LSTM (2 lớp): Bổ sung khả năng mô hình hóa chuỗi sequential, bắt được phụ thuộc xa trong câu mà Transformer có thể bỏ sót. Đây là sự kết hợp hybrid hiếm gặp – tận dụng ưu điểm cả hai kiến trúc.
Multi-head Self-Attention bổ sung với Residual Connection: Lớp attention sau BiLSTM để tinh chỉnh biểu diễn đặc trưng cuối cùng.
Dual-Head Output: Position Head dự đoán vị trí mới của từ trong câu VSL, và Keep/Drop Head quyết định giữ hay loại bỏ từ (vì ngữ pháp VSL có thể lược bỏ một số từ so với tiếng Việt). Mỗi head gồm 3 lớp fully-connected với LayerNorm và GELU activation.
Hàm loss được cải tiến với Focal Loss cho Keep/Drop (xử lý class imbalance, alpha=0.25, gamma=2.0) và Smooth L1 Loss cho Position Prediction (robust hơn MSE). Hỗ trợ label smoothing tùy chọn.
Kỹ thuật tang cường dữ liệu (Data Augmentation) bao gồm: Synonym substitution (thay thế từ bằng đồng nghĩa), Random truncation (rút ngắn câu ngẫu nhiên), Noise injection (hoán đổi từ ngẫu nhiên), và Smart Batch Sampler (nhóm câu có độ dài tương tự để giảm padding, tang hiệu suất huấn luyện).
2. PIPELINE NLP 6 BƯỚC CHUYÊN BIỆT CHO TIẾNG VIỆT
Hệ thống áp dụng pipeline xử lý ngôn ngữ 6 bước được thiết kế riêng cho ngữ cảnh tiếng Việt – điều mà không có sản phẩm nào trên thị trường hiện tại cung cấp: Normalize → Segment → Tokenize → Synonym Canonicalize → Number Coalesce → ML Reorder.
Mỗi bước được module hóa thành service riêng biệt (TextNormalizer, TextPreprocessor, TokenizerService, SynonymsService, NumberToSignService, ReorderService), tuân thủ nguyên tắc Single Responsibility, dễ mở rộng và bảo trì. Đặc biệt, bước Synonym Canonicalization ánh xạ hàng trăm từ đồng nghĩa tiếng Việt về dạng chuẩn trong từ điển VSL, và bước Number Coalescing xử lý đặc thù cách đọc số trong tiếng Việt.
Bước Reorder sử dụng phương pháp cascade 3 tầng: Pattern matching (so khớp chính xác với dữ liệu huấn luyện) → Grammar rules (áp dụng quy tắc ngữ pháp VSL kết hợp POS tagging) → ML model (mô hình Transformer+BiLSTM). Phương pháp này đảm bảo kết quả chính xác cho các mẫu câu đã biết, đồng thời vẫn xử lý được câu mới chưa gặp.
3.XỬ LÝ REAL-TIME TRÊN THIẾT BỊ IoT NHÚNG
Đổi mới đáng kể trong việc tối ưu hiệu năng cho Raspberry Pi Zero 2W (chỉ 512MB RAM, CPU quad-core 1GHz):
VAD (Voice Activity Detection) trực tiếp trên thiết bị: Sử dụng WebRTC VAD mode 2 (balanced), kết hợp RMS threshold, preroll buffer 300ms để không cắt mất đầu câu, và hangover frames 450ms để tránh cắt giữa câu. Kỹ thuật này giảm hơn 80% dữ liệu audio gửi lên server, tiết kiệm băng thông và giảm tải xử lý.
Frame skip thông minh cho LCD: Tính toán tỷ lệ frame skip dựa trên FPS hiệu dụng để đạt đúng 18 FPS target, chuyển đổi BGR sang RGB565 bằng NumPy vectorized operations thay vì loop Python thuần.
SPI bulk transfer ở 32MHz: Giao tiếp LCD tối ưu qua SPI bus với chunk size 32KB, cho phép hiển thị video mượt mà trên phần cứng hạn chế.
4. BACKPRESSURE VÀ TỐI ƯU SERVER
Server backend áp dụng nhiều kỹ thuật tối ưu tiên tiến: chỉ 1 lần transcribe mỗi connection tại mỗi thời điểm (asyncio Lock), giữ lại 0.2 giây audio tail khi bận để không mất dữ liệu, transcribe trực tiếp từ NumPy float32 mà không qua file WAV tạm (giảm I/O), và throttle buffering messages tối đa 8 message/giây.
5. PHÙ HỢP VỚI ĐIỀU KIỆN TRIỂN KHAI TẠI VIỆT NAM
Sử dụng Faster-Whisper hỗ trợ tiếng Việt với độ chính xác cao. Toàn bộ từ điển VSL và synonym mapping được xây dựng cho tiếng Việt. Underthesea cho tách từ tiếng Việt (xử lý từ ghép, dấu thanh). Hỗ trợ fingerspelling cho toàn bộ ký tự tiếng Việt (29 chữ cái bao gồm các chữ đặc biệt ă, â, đ, ê, ô, ơ, ư). Chi phí phần cứng thấp, sử dụng Raspberry Pi Zero 2W với giá khoảng 350.000 VNĐ, phù hợp cho triển khai đại trà.

Tính ứng dụng:

1. CHUYỂN ĐỔI HÌNH THỨC GIAO TIẾP
Signify mang đến sự chuyển đổi căn bản trong cách người khiếm thính giao tiếp:
Về phương thức giao tiếp: Trước Signify, người khiếm thính phải dựa vào viết giấy, đọc môi, hoặc phiên dịch viên. Sau Signify, giao tiếp diễn ra tự động qua kính AR real-time, người dùng chỉ cần đeo kính và nhấn nút.
Về thời gian phản hồi: Trước Signify, viết giấy qua lại mất vài phút, đặt lịch phiên dịch mất vài giờ đến vài ngày. Sau Signify, thời gian phản hồi dưới 2 giây, cho phép giao tiếp liên tục như cuộc trò chuyện bình thường.
Về chi phí mỗi lần giao tiếp: Trước Signify, phiên dịch viên tốn 200.000 đến 500.000 VNĐ/giờ. Sau Signify, chi phí bằng 0 VNĐ cho mỗi lần sử dụng sau khi mua thiết bị.
Về tính độc lập: Trước Signify, người khiếm thính phụ thuộc hoàn toàn vào người hỗ trợ. Sau Signify, họ hoàn toàn tự chủ trong giao tiếp.
Về khả năng sử dụng: Trước Signify, giới hạn bởi thời gian và địa điểm có phiên dịch. Sau Signify, sử dụng được 24/7 tại mọi nơi có Wi-Fi.
2. GIẢM CHI PHÍ
Cho người khiếm thính: Loại bỏ hoàn toàn chi phí phiên dịch viên (trung bình 200.000 đến 500.000 VNĐ/giờ). Chi phí thiết bị thấp, khoảng 2 đến 3 triệu VNĐ, đầu tư một lần. Không có phí dịch vụ hàng tháng nếu chạy server tại nhà hoặc cơ quan.
Cho tổ chức: Giảm nhu cầu nhân viên phiên dịch chuyên trách. Một server thông thường có thể phục vụ nhiều người dùng đồng thời. Chi phí vận hành thấp vì hệ thống hỗ trợ CPU inference, không bắt buộc GPU chuyên dụng.
3. NÂNG CAO NĂNG SUẤT
Người khiếm thính có thể tham gia cuộc họp mà không cần chờ phiên dịch, không bỏ lỡ nội dung quan trọng. Thời gian giao tiếp giảm từ vài phút (viết giấy qua lại) xuống vài giây. Tăng khả năng tiếp cận giáo dục: học sinh khiếm thính có thể theo dõi bài giảng gần như real-time, ghi chú và tham gia thảo luận cùng bạn bè.
Trong môi trường làm việc, người khiếm thính có thể nhận chỉ đạo, trao đổi với đồng nghiệp và khách hàng một cách trực tiếp, nâng cao năng suất cá nhân và đóng góp nhiều hơn cho tổ chức. Không còn tình trạng phải chờ đợi hoặc bỏ lỡ thông tin quan trọng vì rào cản giao tiếp.
4. HIỆU SUẤT KỸ THUẬT
Tỷ lệ giảm audio gửi lên server: Hơn 80% nhờ VAD filtering trên thiết bị, chỉ gửi đoạn có giọng nói thực sự, tiết kiệm băng thông và giảm tải server.
Tốc độ nhận dạng giọng nói: Sử dụng Faster-Whisper nhanh gấp 4 đến 8 lần OpenAI Whisper gốc, đồng thời transcribe trực tiếp từ mảng NumPy float32 mà không qua file WAV tạm.
Độ trễ end-to-end: Dưới 2 giây từ lúc người đối diện nói đến lúc hiển thị video ký hiệu trên kính.
Tốc độ hiển thị: 18 FPS trên LCD 240x240, video phát ở tốc độ 2x cho ngôn ngữ ký hiệu để theo kịp tốc độ nói.
Kho từ vựng VSL: 3.575 video ký hiệu được render sẵn, kết hợp fingerspelling cho toàn bộ bảng chữ cái tiếng Việt, đảm bảo có thể biểu diễn bất kỳ từ nào.
Độ ổn định: Hệ thống tự động reconnect khi mất kết nối (tối đa 5 lần), heartbeat mỗi 30 giây để duy trì kết nối, graceful error handling không crash khi gặp lỗi mạng hoặc xử lý. Hàng đợi video tự động quản lý (tối đa 3 job pending, tự động drop oldest khi quá tải).
Quản lý bộ nhớ: Tối ưu cho Raspberry Pi Zero 2W với chỉ 512MB RAM, sử dụng pre-allocated buffer cho LCD display, giải phóng bộ nhớ sau mỗi message xử lý.
5. NÂNG CAO CHẤT LƯỢNG CUỘC SỐNG
Signify không chỉ nâng cao hiệu quả giao tiếp mà còn nâng cao chất lượng cuộc sống của người khiếm thính. Họ có thể duy trì giao tiếp mắt tự nhiên với người đối diện (vì video hiển thị trên kính, không cần nhìn xuống điện thoại), giữ được phẩm giá và sự tự tin trong giao tiếp xã hội. Đặc biệt, sản phẩm góp phần giảm cảm giác cô lập và tăng sự hòa nhập xã hội cho cộng đồng người khiếm thính.

Tính hiệu quả:

Tiềm năng phát triển:

1. NĂNG LỰC ĐỘI NGŨ
Nhóm phát triển thể hiện năng lực kỹ thuật toàn diện qua việc tự thiết kế và triển khai thành công một hệ thống phức tạp liên ngành:
Về AI/ML: Tự thiết kế kiến trúc Transformer + BiLSTM hybrid, xây dựng pipeline training với data augmentation (4 kỹ thuật), validation, TensorBoard monitoring. Tự thiết kế hàm loss cải tiến (Focal Loss + Smooth L1 Loss).
Về Backend: Kiến trúc microservices với FastAPI, WebSocket real-time, singleton pattern, module hóa 8 service text processing, cơ chế backpressure và throttling.
Về IoT/Embedded: Lập trình GPIO, SPI 32MHz, audio streaming, tối ưu xử lý trên Raspberry Pi Zero 2W (512MB RAM), multi-threading trên thiết bị nhúng.
Về Mobile: Ứng dụng Flutter cross-platform (Android + iOS).
Về 3D Graphics: Render video ký hiệu 3D bằng WebGL, xử lý HamNoSys, tạo kho 3.575 video.
Về NLP tiếng Việt: Pipeline 6 bước chuyên biệt, từ điển đồng nghĩa, xử lý từ ghép, tách số, POS tagging cho VSL.
2. LỘ TRÌNH PHÁT TRIỂN
Giai đoạn 1 (MVP – đã hoàn thành): Prototype kính AR hoạt động real-time. Pipeline ASR → NLP → VSL hoàn chỉnh. Kho 3.575 video ký hiệu. Ứng dụng Flutter.
Giai đoạn 2 (6-12 tháng): Tối ưu model cho edge inference trên Raspberry Pi. Mở rộng từ điển lên 5.000+ ký hiệu. Thêm chế độ offline. Thiết kế kính gọng nhẹ hơn.
Giai đoạn 3 (1-2 năm): Sản xuất hàng loạt. Cloud API. SDK cho bên thứ ba. Hỗ trợ đa ngôn ngữ ký hiệu (ASL...). Giao tiếp hai chiều: nhận dạng ký hiệu → giọng nói.
3. TIỀM NĂNG THU HÚT ĐẦU TƯ
Thị trường: 2,5 triệu người khiếm thính tại Việt Nam, 466 triệu trên toàn cầu. Nhu cầu thiết thực, chưa có giải pháp tương đương. Lợi thế cạnh tranh: tập trung tiếng Việt, chưa có đối thủ trực tiếp. Chi phí sản xuất thấp (phần cứng phổ thông). Phù hợp ESG và Impact Investment.
4. CÔNG NGHỆ MỞ RỘNG
Kiến trúc module hóa: mỗi service độc lập, thay thế/nâng cấp riêng lẻ. Giao tiếp qua API REST/WebSocket. ML model retrain được mà không ảnh hưởng hệ thống. Thêm ký hiệu mới chỉ cần thêm file video.

Tiêu chí về cộng đồng:

1. GIẢI QUYẾT VẤN ĐỀ TỒN TẠI CHO CỘNG ĐỒNG NGƯỜI KHIẾM THÍNH
Signify trực tiếp giải quyết một trong những vấn đề lớn nhất và dai dẳng nhất mà cộng đồng người khiếm thính tại Việt Nam phải đối mặt: rào cản giao tiếp trong đời sống hàng ngày.
Hiện tại, hầu hết người khiếm thính tại Việt Nam phải dựa vào các phương thức hạn chế: Viết giấy hoặc nhắn tin (chậm, bất tiện, không phù hợp nhiều tình huống). Đọc môi (độ chính xác dưới 30%, phụ thuộc góc nhìn và ánh sáng). Phiên dịch viên (đắt đỏ 200.000-500.000 VNĐ/giờ, khó đặt lịch, không có sẵn 24/7). Ứng dụng text-to-speech (yêu cầu nhìn vào điện thoại, không thể duy trì giao tiếp mắt đối mắt).
Signify khắc phục tất cả các hạn chế trên: Hiển thị ngôn ngữ ký hiệu trực tiếp trên kính nên người dùng vẫn duy trì giao tiếp mắt tự nhiên. Hoạt động hoàn toàn tự động, không cần phiên dịch viên. Phản hồi real-time dưới 2 giây, không gián đoạn cuộc trò chuyện. Chi phí đầu tư một lần, không phí dịch vụ hàng tháng, tiếp cận được cho mọi tầng lớp.
2. THÚC ĐẨY HÒA NHẬP XÃ HỘI
Sản phẩm không chỉ là công cụ giao tiếp mà còn là cầu nối hòa nhập xã hội.
Trong giáo dục: Học sinh khiếm thính có thể học hòa nhập tại trường phổ thông thay vì chỉ trường chuyên biệt. Theo dõi bài giảng real-time, tham gia thảo luận nhóm, tương tác với bạn bè nghe bình thường.
Trong việc làm: Mở rộng cơ hội nghề nghiệp cho người khiếm thính. Có thể làm việc tại môi trường không có phiên dịch viên, tham gia cuộc họp, nhận chỉ đạo, giao tiếp với khách hàng.
Trong y tế: Người khiếm thính có thể hiểu bác sĩ giải thích tình trạng sức khỏe mà không cần người thân đi kèm, đảm bảo quyền riêng tư y tế và quyền tự quyết định về sức khỏe của mình.
Trong hành chính công: Tự mình thực hiện các thủ tục tại UBND, ngân hàng, bưu điện mà không cần người hỗ trợ.
3. ƯU TIÊN VÙNG KHÓ KHĂN
Sản phẩm đặc biệt có giá trị tại các vùng khó khăn, nơi không có phiên dịch viên ngôn ngữ ký hiệu (phần lớn phiên dịch viên tập trung tại các thành phố lớn), cơ sở giáo dục chuyên biệt cho người khiếm thính thiếu thốn hoặc quá xa, và chi phí đi lại để tiếp cận dịch vụ hỗ trợ rất cao.
Signify chỉ cần Wi-Fi và một server (có thể đặt tại trường học hoặc trạm y tế xã) là có thể hoạt động. Chi phí thiết bị thấp (khoảng 2-3 triệu VNĐ) phù hợp cho các chương trình hỗ trợ của nhà nước hoặc tổ chức phi lợi nhuận. Một server có thể phục vụ nhiều kính đồng thời, giảm chi phí triển khai trên từng đầu người.
4. GIÁ TRỊ KINH TẾ - XÃ HỘI
Giảm gánh nặng xã hội: Giúp người khiếm thính tự lập hơn, giảm phụ thuộc vào gia đình và cộng đồng trong giao tiếp hàng ngày.
Tăng năng suất lao động: Người khiếm thính có thể đóng góp nhiều hơn cho nền kinh tế khi rào cản giao tiếp được xóa bỏ, mở rộng khả năng tham gia thị trường lao động.
Tiết kiệm chi phí xã hội: Giảm chi phí cho phiên dịch viên, chương trình hỗ trợ giao tiếp truyền thống, dịch vụ hỗ trợ người khuyết tật.
Nâng cao nhận thức: Sản phẩm giúp xã hội nhận thức rõ hơn về nhu cầu và khả năng của người khiếm thính, thúc đẩy phong trào hòa nhập và bình đẳng.
5. PHÙ HỢP VỚI MỤC TIÊU PHÁT TRIỂN BỀN VỮNG (SDGs)
Signify đóng góp trực tiếp vào các mục tiêu phát triển bền vững của Liên Hợp Quốc:
SDG 3 (Sức khỏe và cuộc sống tốt lành): Cải thiện khả năng tiếp cận dịch vụ y tế cho người khiếm thính, đảm bảo họ hiểu được chẩn đoán và hướng dẫn điều trị.
SDG 4 (Giáo dục chất lượng): Giáo dục hòa nhập cho tất cả mọi người, giúp học sinh khiếm thính theo dõi bài giảng và tham gia lớp học bình thường.
SDG 8 (Việc làm bền vững): Thúc đẩy việc làm bền vững cho người khuyết tật, mở rộng cơ hội nghề nghiệp.
SDG 10 (Giảm bất bình đẳng): Thu hẹp khoảng cách giao tiếp giữa người khiếm thính và người nghe bình thường, giảm bất bình đẳng trong tiếp cận thông tin và dịch vụ.
SDG 11 (Cộng đồng bền vững): Xây dựng cộng đồng hòa nhập, không ai bị bỏ lại phía sau, đặc biệt tại các vùng khó khăn và nông thôn.
Tóm lại, Signify không chỉ là một sản phẩm công nghệ mà còn là một giải pháp nhân văn, ứng dụng AI tiên tiến để giải quyết bài toán giao tiếp cho cộng đồng người khiếm thính tại Việt Nam. Với chi phí thấp, dễ triển khai, và đặc biệt phù hợp cho vùng khó khăn, Signify có tiềm năng mang lại giá trị thiết thực cho hàng triệu người và góp phần thúc đẩy phát triển kinh tế - xã hội bền vững.

Cơ sở hạ tầng:

Tổng chi phí đầu tư thiết bị chỉ chưa tới 50 USD
A. PHẦN CỨNG THIẾT BỊ ĐẦU CUỐI (KÍNH AR)
Vi xử lý: Raspberry Pi Zero 2W (ARM Cortex-A53 quad-core 1GHz, 512MB RAM) – đóng vai trò xử lý trung tâm cho thiết bị đeo.
Microphone: USB Audio Adapter kết hợp Microphone ngoài – thu âm giọng nói người đối diện.
Màn hình: LCD SPI 1.3 inch ST7789 (240x240 pixel, IPS) – hiển thị video ngôn ngữ ký hiệu.
Nút bấm: GPIO Button (chân 17) – bật/tắt ghi âm, dừng video.
Giao tiếp: SPI Bus (32MHz) cho LCD display – truyền dữ liệu hình ảnh tốc độ cao.
Nguồn: Pin sạc USB 5V hoặc Power bank – cung cấp điện cho thiết bị.
Kết nối mạng: Wi-Fi 2.4GHz (built-in trên Raspberry Pi Zero 2W) – kết nối server qua WebSocket.
B. PHẦN CỨNG SERVER BACKEND
Cấu hình tối thiểu: CPU Intel Core i5 hoặc AMD Ryzen 5, RAM 8 GB, không bắt buộc GPU (hỗ trợ CPU inference), ổ cứng SSD 20 GB (lưu trữ model và video cache), kết nối Wi-Fi hoặc LAN cùng mạng nội bộ.
Cấu hình khuyến nghị: CPU Intel Core i7 hoặc AMD Ryzen 7 trở lên, RAM 16 GB trở lên, NVIDIA GPU có CUDA (GTX 1060 trở lên) để tăng tốc inference, ổ cứng SSD 50 GB, mạng LAN có dây với băng thông từ 100Mbps trở lên.
C. PHẦN MỀM SERVER
Hệ điều hành: Windows 10/11, Ubuntu 20.04 trở lên, hoặc macOS 11 trở lên.
Ngôn ngữ lập trình: Python 3.9 trở lên.
Framework web: FastAPI phiên bản 0.100.0 trở lên, Uvicorn phiên bản 0.23.0 trở lên.
Framework Machine Learning: PyTorch phiên bản 2.0.0 trở lên.
Nhận dạng giọng nói: Faster-Whisper phiên bản 0.10.0 trở lên (tối ưu gấp 4-8 lần so với OpenAI Whisper gốc).
Xử lý ngôn ngữ tự nhiên tiếng Việt: Underthesea (tách từ, POS tagging).
Xử lý audio: Librosa phiên bản 0.10.0 trở lên, SoundFile, SciPy, Pydub.
Xử lý video và ảnh: OpenCV, MoviePy, Pillow.
Các thư viện khác: NumPy, Pandas, TensorBoard (visualization quá trình huấn luyện), scikit-learn, python-dotenv (quản lý biến môi trường).
D. PHẦN MỀM THIẾT BỊ IOT (RASPBERRY PI)
Hệ điều hành: Raspberry Pi OS Lite (dựa trên Debian).
Ngôn ngữ lập trình: Python 3.9 trở lên.
Thư viện GPIO và SPI: RPi.GPIO, spidev – điều khiển phần cứng (nút bấm, LCD).
Xử lý audio: arecord (ALSA) để ghi âm, webrtcvad để phát hiện giọng nói (Voice Activity Detection).
Xử lý ảnh: OpenCV, Pillow, NumPy – xử lý và hiển thị video lên LCD.
Mạng: websockets (asyncio) – truyền nhận dữ liệu real-time với server.
E. YÊU CẦU MẠNG
Server và thiết bị IoT cần nằm trong cùng mạng Wi-Fi hoặc có kết nối Internet. Giao thức sử dụng là WebSocket (ws:// cho mạng nội bộ hoặc wss:// cho kết nối bảo mật qua Internet). Băng thông tối thiểu cần khoảng 50 Kbps uplink (audio stream 16kHz mono 16-bit, đã lọc VAD) và khoảng 1 Mbps downlink (JSON responses). Độ trễ mạng khuyến nghị dưới 100ms round-trip để đảm bảo trải nghiệm real-time.