Cosa includono i servizi di sviluppo NVIDIA Jetson Edge AI: spiegazione dei moduli principali e dell'ambito

Quando si pianifica un progetto Edge AI su NVIDIA Jetson, capire quali moduli di sviluppo sono generalmente inclusi e dove inizia e finisce l'ambito del servizio aiuterà i team di progettazione e di progetto ad allineare le proprie aspettative prima del coinvolgimento.

Panoramica dei servizi di sviluppo NVIDIA Jetson Edge AI

Una panoramica di alto livello di ciò che tipicamente coprono i servizi di sviluppo Jetson Edge AI e di come sono strutturati tra hardware, software e livelli di distribuzione.

NVIDIA Jetson Edge AI I servizi di sviluppo comprendono generalmente tre livelli: valutazione e selezione dell'hardware, sviluppo di algoritmi e applicazioni e integrazione del sistema con implementazione in loco. Ogni livello si occupa di decisioni tecniche specifiche, come ad esempio: la selezione del modulo Jetson corretto per il carico di lavoro di destinazione, l'ottimizzazione dei modelli per l'inferenza dei bordi e la garanzia di un funzionamento stabile nell'ambiente di distribuzione.

L'ambito di questi servizi viene generalmente definito durante la fase di analisi dei requisiti. I team chiariscono quali origini dati vengono utilizzate, quali obiettivi di latenza e throughput devono essere raggiunti e come il sistema edge interagisce con l’infrastruttura IT o OT esistente. Questa definizione anticipata aiuta a evitare l’espansione dell’ambito e adatta i risultati alle esigenze operative.

Moduli core inclusi nello sviluppo Jetson Edge AI

I moduli di servizio più importanti che di solito fanno parte di un ordine di sviluppo strutturato NVIDIA Jetson Edge AI.

Valutazione dell'hardware e selezione del modulo: per valutare i requisiti del carico di lavoro come throughput di inferenza, budget energetico e requisiti di I/O, è necessario consigliare un modulo Jetson appropriato per la prototipazione o l'uso in produzione.
Ottimizzazione del modello e messa a punto dell'inferenza dei bordi: converti e ottimizza i modelli AI utilizzando strumenti come TensorRT per bilanciare precisione, latenza e utilizzo delle risorse sull'hardware Jetson selezionato, tenendo conto della quantizzazione e della compatibilità degli operatori.
Sviluppo di applicazioni e middleware: creazione del livello applicativo che gestisce l'acquisizione, la preelaborazione, la pianificazione dell'inferenza e l'output dei risultati dei dati dei sensori, insieme al middleware per la comunicazione con i sistemi upstream o le piattaforme cloud.
Integrazione di sistema e personalizzazione dei protocolli: connessione del sistema edge basato su Jetson a protocolli industriali, database o piattaforme di gestione esistenti per garantire la coerenza dei dati e operazioni affidabili all'interno dell'architettura di sistema più ampia.
Convalida dell'implementazione e test di accettazione: verifica del comportamento del sistema in condizioni reali, comprese prestazioni termiche, stabilità della rete e precisione di inferenza a lungo termine, con risultati di test documentati e criteri di accettazione.

Processo di consegna tipico per progetti Jetson Edge AI

Una guida passo passo su come viene generalmente eseguito un servizio di sviluppo Jetson Edge AI, dall'analisi iniziale alla consegna finale.

Esegui l'analisi dei requisiti per definire obiettivi del carico di lavoro, origini dati, punti di integrazione e vincoli dell'ambiente di distribuzione.
Conduci una valutazione dell'hardware e seleziona il modulo Jetson appropriato in base ai requisiti di elaborazione, archiviazione, alimentazione e I/O.
Ottimizza i modelli AI per l'inferenza dei bordi, inclusa la conversione del formato, la quantizzazione e il benchmarking delle prestazioni sull'hardware di destinazione.
Sviluppare il livello applicativo e middleware e implementare l'acquisizione di dati, pipeline di inferenza e interfacce di integrazione.
Integra il sistema edge nell'infrastruttura esistente ed esegui il debug congiunto con i sistemi upstream e downstream.
Esegui la convalida della distribuzione in loco, raccogli dati su prestazioni e stabilità ed esegui test di accettazione con risultati documentati.

Scenari applicativi tipici per i servizi Jetson Edge AI

I comuni scenari di settore in cui vengono applicati servizi di sviluppo NVIDIA Jetson edge AI illustrano la gamma di possibili casi d'uso.

Test di qualità industriale: utilizzo di moduli da Jetson per eseguire il rilevamento dei difetti basato sulla visione direttamente sulla linea di produzione, riducendo la latenza ed evitando la dipendenza dalla connettività cloud continua.
Analisi intelligente della vendita al dettaglio: fornisci Edge AI per l'analisi in tempo reale dei flussi dei clienti, il monitoraggio degli scaffali o il supporto per il check-out automatico, aggregando i dati localmente prima della sincronizzazione regolare.
Gestione intelligente degli edifici: esegui modelli di rilevamento dell'occupazione, ottimizzazione del consumo energetico o monitoraggio della sicurezza su Jetson dispositivi integrati con i sistemi di gestione degli edifici.

Limiti di portata e quanto normalmente non compreso

Chiarire i limiti tipici dei servizi di sviluppo Jetson edge AI per aiutare i team a identificare ciò che potrebbe richiedere una pianificazione separata o un ambito aggiuntivo.

Jetson Edge AI I servizi di sviluppo si concentrano generalmente sul dispositivo edge e sul suo contesto di integrazione immediato. Attività come la creazione di una piattaforma cloud su larga scala, la progettazione di data warehouse a livello aziendale o pipeline di riqualificazione dei modelli a lungo termine sono spesso al di fuori dell'ambito principale e possono richiedere progetti dedicati o contratti di servizio separati.

Allo stesso modo, la fornitura di set di dati di addestramento etichettati di solito non è inclusa se non espressamente concordato. I progetti spesso presuppongono che il cliente fornisca dati rappresentativi o che venga concordata una fase separata di preparazione dei dati. Chiarire tempestivamente questi confini aiuterà a evitare malintesi durante il parto.

Domande frequenti
Domanda: L'addestramento del modello AI e l'etichettatura dei dati su larga scala sono generalmente inclusi nei servizi di sviluppo Jetson Edge AI?
Risposta: in genere, i servizi di sviluppo Jetson Edge AI si concentrano sull'ottimizzazione del modello, sulla distribuzione e sull'integrazione del sistema piuttosto che sulla formazione approfondita o sull'etichettatura dei dati. Se è necessaria la formazione o l'etichettatura, questa viene solitamente trattata come una fase o un progetto separato, con accordi chiari sull'ambito dei dati e sulle responsabilità.

Domanda: Come selezionare il modulo Jetson corretto durante il servizio di sviluppo?
Risposta: la selezione del modulo si basa su una valutazione strutturata dei requisiti del carico di lavoro, tra cui throughput di inferenza, utilizzo della memoria, budget energetico e requisiti di I/O. Il modulo selezionato viene quindi convalidato tramite benchmarking per confermare che soddisfa gli obiettivi di prestazione e stabilità definiti prima di continuare lo sviluppo completo dell'applicazione.

Domanda: cosa succede se l'ambiente di distribuzione ha una connettività di rete limitata?
Risposta: i sistemi Jetson Edge AI sono progettati per funzionare con inferenza locale ed elaborazione locale in modo che la connettività limitata non blocchi le funzionalità principali. I servizi in genere includono la configurazione per il funzionamento offline, l'archiviazione locale dei risultati e la sincronizzazione periodica quando la connettività è disponibile per garantire il funzionamento continuo in ambienti limitati.