Segmentazione semantica delle nuvole di punti utilizzando tecniche di apprendimento profondo per il patrimonio culturale

Abstract

Nell’ambito del patrimonio culturale digitale (Digital Cultural Heritage), la segmentazione semantica delle nuvole di punti 3D con tecniche di apprendimento profondo (Deep Learning) può aiutare a riconoscere automaticamente elementi architettonici storici a un adeguato livello di dettaglio. Questo permetterebbe di accelerare il processo di modellazione dei modelli HBIM (Historical Building Information Modeling), a partire dai dati di rilievo. In questo lavoro viene proposto un framework innovativo di DL per la segmentazione delle nuvole di punti che, a partire da una rete convoluzionale dello stato dell’arte (Dynamic Graph Convolutional Neural Network) ottimizza il processo di segmentazione semantica grazie all’introduzione di features significative come normali e componente radiometrica. Per testare tale approccio, sono state utilizzate alcune nuvole di punti facenti parte di un nuovo dataset pubblicamente disponibile: l’ArCH (Architectural Cultural Heritage) dataset. Questo dataset comprende 17 nuvole di punti annotate, derivanti dall'unione di più scansioni singole o dall'integrazione di queste ultime con rilievi fotogrammetrici. Le scene coinvolte sono sia interne che esterne, con chiese, cappelle, chiostri, portici e logge costituiti da elementi architettonici molto differenti tra loro. Queste nuvole di punti appartengono a differenti periodi storici con diversi lessici, in modo da rendere il dataset il meno possibile uniforme e omogeneo (nella ripetizione degli elementi architettonici) e i risultati il più generalizzabile possibile. Dagli esperimenti effettuati, la nuova rete (DGCNN-Mod) fornisce elevati livelli di accuratezza, dimostrando l'efficacia dell'approccio proposto.