Multi-modal neural networks for tree species classification from remonte sensing data

Celem projektu jest opracowanie klasyfikatora wykorzystującego sieć neuronową do klasyfikacji gatunków drzew z multimodalnych danych teledetekcyjnych. Dane te obejmują zdjęcia lotnicze pochodzące z kamery hiperspektralnej oraz lidaru. Podstawowym wyzwaniem jest brak balansu klas i niewielka liczba danych uczących, wynikająca z kosztu naziemnej inspekcji. Do równoczesnego przetwarzania danych z różnych sensorów wykorzystana będzie sieć neuronowa w architekturze enkoder-dekoder z dwoma dedykowanymi enkoderami. Dodatkowo, klasyfikator wykorzystywać będzie ważoną funkcję straty i augmentację danych poprzez automatyczną generację (pseudo)etykiet. Metoda przetestowana zostanie za unikalnym zbiorze danych dostępnym dla IITiS PAN w ramach współpracy z firmą MGGP Aero Sp z o.o oraz Uniwersytetem Warszawskim.