Edge AI là gì và vì sao phải cần quan tâm đến Edge AI ?

Edge AI là gì và vì sao phải cần quan tâm đến Edge AI ?

Edge hoặc Network Edge là nơi dữ liệu cư trú và được thu thập tại field (hiện trường). Các vấn đề về khả năng mở rộng, tiêu thụ năng lượng quá mức, kết nối và độ trễ là một số trong nhiều yếu tố thúc đẩy nhu cầu về cơ sở hạ tầng Edge dưới dạng trung tâm dữ liệu vi mô hoặc kiến ​​trúc điện toán phân tán. Một nghiên cứu gần đây cho thấy thị trường điện toán Edge dự kiến ​​sẽ có giá trị ở mức 3,24 tỷ USD vào năm 2025.

Một số yếu tố thúc đẩy sự phát triển của điện toán Edge bao gồm:

• Có những sự cam kết với khách hàng theo thời gian thực : Edge cho phép bạn kết nối theo thời gian thực với khách hàng của mình, bất kể vị trí của họ là gì. Điều này là hiển nhiên với nhu cầu thay đổi của khách hàng, nơi họ muốn chỉ cần chạm vào đồng hồ Apple của họ để thanh toán hoặc yêu cầu Siri hoặc Alexa tóm tắt chúng với danh sách việc cần làm trong ngày hoặc theo dõi các kiểu tập thể dục, ngủ và ăn uống của họ.
• Phân tích dữ liệu cảm biến và IoT : Trong khi tương tác với thiết bị hỗ trợ IoT, dữ liệu từ các cảm biến hoặc các thiết bị IoT tương tự cần được phân tích và xử lý trong một phần nghìn giây, mà không phải gửi chúng đến vị trí trên Cloud.

Sự tăng trưởng chưa từng có trong điện toán Edge sẽ mở đường cho một loạt các dịch vụ và ứng dụng ở rìa, có thể được tối ưu hóa với ứng dụng trí tuệ nhân tạo – Edge AI.

Vậy thì Edge AI là gì?

Edge AI có nghĩa là thuật toán AI được xử lý cục bộ trên thiết bị phần cứng tại field. Các thuật toán đang sử dụng dữ liệu (dữ liệu cảm biến hoặc tín hiệu) được tạo trên thiết bị. Một thiết bị sử dụng Edge AI không cần phải được kết nối để hoạt động chính xác, nó có thể xử lý dữ liệu và đưa ra quyết định một cách độc lập mà không cần kết nối.

Để sử dụng Edge AI, bạn cần một thiết bị bao gồm bộ vi xử lý và cảm biến.

Ví dụ: Một người già đeo đồng hồ có thể phát hiện té ngã là một giải pháp dựa trên Edge AI. Hệ thống Edge AI sử dụng dữ liệu gia tốc trong thời gian thực làm đầu vào cho thuật toán AI sẽ phát hiện khi người đó ngã. Đồng hồ sẽ chỉ kết nối với Cloud khi phát hiện ra một vụ ngã. Một trong những thuộc tính quan trọng trong ví dụ trên là có thời lượng pin dài. Nếu hệ thống phụ thuộc vào xử lý trong Cloud, nó sẽ cần bật kết nối bluetooth mọi lúc và pin sẽ hết ngay lập tức.

Tại sao Edge AI quan trọng?

Edge AI sẽ cho phép các hoạt động thời gian thực bao gồm tạo dữ liệu, quyết định và hành động trong đó tính bằng mili giây. Hoạt động thời gian thực rất quan trọng đối với xe tự lái, robot và nhiều lĩnh vực khác. Giảm mức tiêu thụ năng lượng và do đó cải thiện tuổi thọ pin là rất quan trọng đối với các thiết bị đeo được.

Edge AI sẽ giảm chi phí cho truyền thông dữ liệu, vì sẽ truyền ít dữ liệu hơn. Bằng cách xử lý dữ liệu cục bộ, bạn có thể tránh được vấn đề phát trực tuyến và lưu trữ nhiều dữ liệu lên Cloud khiến bạn dễ bị tổn thương từ góc độ riêng tư.

Giới hạn của AI dựa trên Cloud

Nhờ kết nối internet băng thông rộng, API web cho các công cụ AI có thời gian phản hồi dưới giây. Điều này là tuyệt vời cho các phân tích dự đoán và kê đơn như đề xuất sản phẩm, dự báo bán hàng, chẩn đoán bệnh , xử lý dữ liệu đơn xin việc, soạn nhạc và nhiều hơn nữa. Nhưng nó không đủ cho các hoạt động thời gian thực trong đó tính bằng mili giây .

Ví dụ, nếu một bác sĩ phẫu thuật robot muốn thực hiện một thao tác nhạy cảm trên bệnh nhân, nó sẽ cần có khả năng phân tích hình ảnh và có thể đưa ra quyết định vài hoặc thậm chí hàng chục lần mỗi giây. Chuyến đi khứ hồi lên Cloud sẽ gây ra sự chậm trễ có thể gây ra hậu quả thảm khốc và không thể khắc phục.

Quy tắc tương tự áp dụng cho những chiếc xe không người lái, robot và máy bay không người lái phải di chuyển xung quanh chướng ngại vật và điều hướng địa hình và tình huống phức tạp. Đã có một sự thúc đẩy cho các thuật toán cạnh trên các camera giám sát của cảnh sát, nơi họ cần xử lý và phân tích một luồng hình ảnh nhanh trong thời gian thực.

Các ứng dụng này cũng dựa vào việc gửi một lượng lớn س thông tin lên Cloud, điều này gây ra một loạt vấn đề mới. Một liên quan đến sự nhạy cảm của thông tin. Gửi và lưu trữ rất nhiều thông tin trong Cloud sẽ kéo theo những thách thức về bảo mật và quyền riêng tư. Các nhà phát triển ứng dụng sẽ phải xem xét liệu thông tin mà họ gửi lên Cloud có chứa thông tin nhận dạng cá nhân (PII) hay không và việc lưu trữ thông tin đó có vi phạm luật riêng tư hay không. Họ cũng sẽ phải thực hiện các biện pháp cần thiết để bảo mật thông tin họ lưu trữ và ngăn chặn việc bị đánh cắp, hoặc truy cập và chia sẻ bất hợp pháp.

Một hạn chế khác mà AI dựa trên Cloud đặt ra là đối với các môi trường bị hạn chế hoặc không có kết nối, cho dù đó là do thiếu cơ sở hạ tầng truyền thông hay do sự nhạy cảm của các hoạt động và thông tin liên quan. Sự thay thế duy nhất cho các máy chủ Cloud là các trung tâm dữ liệu độc quyền có chi phí lớn để thiết lập và bảo trì.

Các địa điểm từ xa như trang trại nông thôn, có thể hưởng lợi rất nhiều từ trí tuệ nhân tạo, sẽ bị hạn chế truy cập vào các ứng dụng AI vì khả năng kết nối kém. Khi IoT chuyển sang các môi trường lập dị và mất kết nối hơn, sự cần thiết của tính toán cạnh hoặc sương mù sẽ trở nên phổ biến hơn.

Tiềm năng của Edge AI

Tiềm năng của Edge AI là rất lớn. Theo báo cáo của Tractica , các lô hàng thiết bị AI edge dự kiến ​​sẽ tăng từ 161,4 triệu đơn vị trong năm 2018 lên 2,6 tỷ đơn vị vào năm 2025. Tại đây, các thiết bị cạnh hỗ trợ AI hàng đầu bao gồm loa thông minh, điện thoại di động, màn hình gắn trên đầu, PC / máy tính bảng, cảm biến ô tô, robot, máy bay không người lái và camera an ninh. Các cảm biến sức khỏe ở thiết bị đeo cũng sẽ làm cho các ứng dụng AI tăng lên.

Ưu điểm của AI cho phép ra quyết định ở biên

• Khả năng phản hồi cao : Các thiết bị hỗ trợ Edge AI xử lý dữ liệu thực sự nhanh so với các mô hình IoT tập trung.
• Bảo mật tốt hơn : Với thời gian xử lý ít hơn vài mili giây, nguy cơ dữ liệu bị giả mạo trong quá trình vận chuyển là rất ít. Các thiết bị này cũng bao gồm các tính năng bảo mật nâng cao.
• Trải nghiệm khách hàng tốt hơn : Edge AI đưa ra giải pháp cho một trong những vấn đề phổ biến nhất – độ trễ. Độ trễ thấp và hiểu biết thời gian thực giúp xây dựng trải nghiệm khách hàng tuyệt vời.

Xu hướng của Edge AI trong tương lai

Có một số cách mà AI có thể được đẩy ra rìa và giúp mở rộng các miền của ứng dụng của nó.

• Điện toán phân tán: Rất nhiều sức mạnh tính toán trên toàn thế giới bị lãng phí khi các thiết bị không hoạt động. Mặc dù sức mạnh xử lý của các thiết bị đó có thể không đủ để thực hiện các thuật toán AI sử dụng nhiều dữ liệu, các tài nguyên kết hợp của chúng sẽ có thể giải quyết hầu hết các tác vụ. Blockchain , công nghệ làm nền tảng cho tiền điện tử, cung cấp một giải pháp thú vị để tạo ra các máy tính phi tập trung từ nhiều thiết bị. Blockchain đặc biệt phù hợp với môi trường IoT .
• Bộ đồng xử lý AI: Vì GPU giúp thúc đẩy những cải tiến mới trong hình ảnh kỹ thuật số như chơi game và kết xuất, bộ đồng xử lý AI có thể thúc đẩy những tiến bộ tương tự trong ngành công nghiệp AI. Cho đến hiện tại, GPU đã được sử dụng cho cùng một mục đích vì sức mạnh to lớn của chúng trong việc thực hiện các hoạt động song song. Xu hướng này đã thúc đẩy các công ty như NVIDIA và INTEL, công ty chuyên về xử lý đồ họa, tiến sâu vào lĩnh vực AI. Bây giờ chúng ta đang chứng kiến ​​sự xuất hiện của các bộ xử lý AI bên ngoài như Movidius Neural Compute Stick, cung cấp khả năng tính toán học tập sâu ở rìa.
• Các thuật toán nâng cao: Các nhà khoa học và nhà nghiên cứu đang nghiên cứu các thuật toán có thể bắt chước chặt chẽ hơn chức năng não người, đòi hỏi ít dữ liệu để hiểu các khái niệm và đưa ra quyết định . Điều này có thể giúp hạ thấp các rào cản để đưa AI đến gần cuộc sống hơn.

Sự phát triển và kết hợp của các xu hướng này có thể hy vọng có thể thực hiện các thuật toán AI gần hơn với nơi diễn ra các hoạt động. Điện toán cạnh sẽ không thay thế cho sức mạnh của đám mây. Tuy nhiên, nó có thể làm cho mô hình hoạt động của AI giống với con người: thực hiện các quyết định thường xuyên và quan trọng về thời gian ở rìa và tham khảo đám mây nơi cần tính toán chuyên sâu hơn và phân tích lịch sử.

Giới thiệu eBOX560-900-FL and eBOX800-900-FL của Axiomtek

Artificial Intelligence (AI) & Edge Computing Solutions

Axiomtek delivers powerful AI capabilities at the edge with our eBOX560-900-FL and eBOX800-900-FL, powered by NVIDIA® Jetson™ TX2 Supercomputer-on-Module. These high performance embedded systems feature an integrated 256-core NVIDIA® Pascal GPU, a hex-core ARMv8 64-bit CPU complex and 8GB of LPDDR4 system memory designed for smart city and smart manufacturing applications such as vision inspection, machine learning and edge computing.

eBOX560-900-FL – Factory Automation

Axiomtek’s eBOX560-900-FL offers rich features in a compact, palm-sized box. This AI-ready system comes equipped with two-Gigabit Ethernet ports, one HDMI 2.0 port and one onboard 32GB eMMC. It is also equipped with one M.2 SSD PCIe 2.0 x4 socket which supports a high performance NVM Express interface for maximum storage needs. The eBOX560-900-FL also features a PCI Express Mini Card slot for 3G/4G/LTE connections.

Applications

• Facial recognition/behavior recognition
• Machine vision and learning
• Quality control/vision inspection
• Edge computing

eBOX800-900-FL – Smart Traffic

Axiomtek’s eBOX800-900-FL is an ideal embedded system for edge computing and intelligent traffic applications, especially in harsh outdoor environments. This embedded system is IP67-rated for protection against dust and water damage and comes with 10 kV surge protection. The eBOX800-900-FL also features one M.2 SSD PCIe 2.0 x4 socket which supports a high performance NVM Express interface for additional storage needs. The eBOX800-900-FL is equipped with one PoE for connection with an IP camera.

Applications

• Traffic flow
• Vehicle recognition
• License plate detection