Przetwarzanie brzegowe AI otwiera zupełnie nowe możliwości dla sektora przemysłu. W jaki sposób spożytkować nowy sprzęt z dedykowanymi jednostkami NPU?.
Czasy, w których sztuczna inteligencja na urządzeniach końcowych zrewolucjonizuje sektor przemysłowy zbliżają się wielkimi krokami. Wraz z premierą pierwszych układów wyposażonych w wydajne jednostki przetwarzania neuronowego nawet w niewielkim sprzęcie IoT możliwe jest uruchamianie lokalnych modeli SLM/LLM, a to wszystko bez wysyłania danych do sieci.
Pierwsze wdrożenia w pełni lokalnych systemów sztucznej inteligencji opartych na GenAI są już realizowane w przemyśle, a trend ten będzie ewoluował w najbliższych miesiącach.
Znaczenie NPU dla przemysłu
NPU (Neural Processing Unit) to wyspecjalizowany układ scalony wbudowany w nowoczesne procesory (Intel, AMD, Qualcomm, Apple Silicon), zoptymalizowany pod zadania związane z AI takie jak klasyfikacja obrazu, analiza dźwięku, rozpoznawanie głosów, predykcyjne przewidywanie zachowań czy generowanie raportów. NPU odciąża tym samym od tych zadań GPU oraz CPU, które pierwotnie zaprojektowano do zupełnie innych celów. Klasyczny komputer bez NPU wykonujący zadania na rzecz AI jest wysoce nieefektywny, a operacje sztucznej inteligencji negatywnie wpływają na jego wydajność w pozostałych zadaniach.
Dzięki NPU można tworzyć lokalne rozwiązania AI bez konieczności komunikowania się z chmurą obliczeniową. Jest to niezwykle kluczowe w środowisku przemysłowym, gdzie dane są wrażliwe, systemy często nie mają dostępu do internetu, a wymogi RODO czy ISO/IEC 27001 są bezlitosne.
Przemysł i chmura obliczeniowa to trudna relacja
W zakładach produkcyjnych, centrach logistycznych i w automatyce przemysłowej przetwarza się ogromne ilości danych z sensorów, systemów SCADA, MES czy systemów wizyjnych. Problem? Bardzo często tych danych nie można legalnie ani bezpiecznie wysłać do chmury publicznej.
Złamanie zasad lokalizacji danych, utrata pełnej kontroli nad przepływem danych, problemy zgodności z politykami czy opóźnienia to tylko przykłady problemów związanych z wdrożeniem chmury obliczeniowej w sektorze przemysłowym.
Z drugiej strony możliwa jest budowa własnego rozwiązania chmurowego lub AI on-premise. Niestety pozwolić sobie na nią mogą jedynie najwięksi gracze. Wraz z NPU pojawia się jednak trzecia możliwość – przetwarzanie brzegowe AI – bezpośrednio na urządzeniu końcowym. Jest ono bezpieczne, efektywne cenowo i stosunkowo proste do wdrożenia.
Wykorzystanie NPU w zakładach produkcyjnych
Nowoczesne laptopy i komputery przemysłowe (tzw. Copilot+ PC czy laptopy z Apple Silicon) mają już na pokładzie układy NPU o wysokiej wydajności. Dzięki niemu można lokalnie uruchamiać niewielkie modele językowe SLM.
Dzięki obecności GenAI bezpośrednio na urządzeniu można wykorzystać je:
- do analizy dokumentacji technicznej i raportów produkcyjnych,
- do tłumaczenia instrukcji BHP i manuali obsługi,
- do tworzenia skrótów raportów lub automatycznej klasyfikacji zgłoszeń,
- do detekcji usterek w logach z maszyn.
Wszystko te czynności odbywają bez połączenia z internetem, bez ryzyka naruszenia prywatności i bez wysyłki danych do chmury. Całość działa na urządzeniu końcowym – laptopie inżyniera utrzymania ruchu, komputerze w szafie sterowniczej czy mobilnym panelu technika.
