Kratka istorija metode
Tokom poslednje decenije se ubrzano razvijaju različite metode dubokog učenja rešavanje različitih vrsta problema iz oblasti veštačke inteligencije, kao što su prepoznavanje slike, prepoznavanje govora, obrada prirodnog jezika (Natural Language Processing - NLP), pretraživanje, sistemi za preporuke, bioinformatika, itd. Međutim, klasično nadgledano duboko učenje kao metoda nije pogodno za rešavanje baš svih vrsta problema, bez obzira na dovoljnu količinu dostupnih podataka koji opisuju ponašanje modelovanog sistema. Na primer, problemi opisani kroz linearne i nelinearne jednačine i sisteme jednačina nikad i nisu bili u fokusu dubokog učenja. Klasične numeričke metode i dalje drže apsolutni primat u numeričkom rešavanju parcijalnih diferencijalnih jednačina. Metode kao što su konačne razlike (Finite Difference Method), konačne zapremine (Finite Volume Method) i konačni elementi (Finite Element Method) se i dalje smatraju najsavremenijim metodama zbog njihove robusnosti, efikasnosti i mogućnosti primene u širokom spektru problema.
Sa druge strane, rešavanje nelinearnih inverznih problema klasičnim numeričkim metodama zahteva proračune koji su izuzetno računarski i vremenski zahtevni. Pretraga optimalnih parametra modela uključuje iterativni postupak koji često uključuje desetine i stotine prolaza direktne simulacije. Zbog toga se tačnost često žrtvuje za efikasnost, te ove vrste pretraga često nisu iscrpne i uključuju tzv. meta-heuristike, bez garancije da će se pronaći najbolje (optimalno) rešenje. Primeri iz prakse autora i saradnika najčešće koriste genetske algoritme (Genetic Algorithm - GA), sprovode optimizaciju baziranu na simulaciji (Simulation Based Optimization) i zahtevaju upotrebu više stotina procesora da bi se do rešenja (koje nije garantovano optimalno) došlo u iole razumnom vremenskom roku, prema Ivanovic et al. [ISS+15], Simic et al. [SSI19] i Ivanovic and Simic [IS22]. Pored kardinalnih poteškoća pri rešavanju inverznih problema, očigledni su još i sledeći nedostaci klasičnih numeričkih metoda:
Nije moguće na lak način u model uključiti podatke sa šumom.
Generisanje proračunske mreže ostaje složena manuelna operacija, često podložna greškama.
Probleme koji uključuju veći broj dimenzija nije moguće rešiti u realnim vremenskim okvirima računarskim resursima kojima trenutno raspolažemo.
Da bi se eliminisali ovi nedostaci klasičnih numeričkih metoda, razvijena je nova metoda dubokog učenja za rešavanje parcijalnih diferencijalnih jednačina. Ta metoda, pod imenom Neuronske mreže podržane fizičkim zakonima (Physics Informed Neural Networks - PINN), koristi se za rešavanje problema nadgledanog učenja uz poštovanje bilo kog zakona fizike opisanog opštim nelinearnim parcijalnim diferencijalnim jednačinama Raissi et al. [RPK19].
Glavna inovacija Neuronskih mreža potkrepljenim fizičkim zakonima (NMPFZ) u poređenju sa klasičnim dubokim neuronskim mrežama je uvođenje funkcije gubitka koja kodira osnovne jednačine fizičkih zakona, uzima izlaz duboke mreže, koja se zove aproksimator, i izračunava vrednost gubitka Markidis [Mar21]. Funkcija gubitka koja se odnosi na diferencijalnu jednačinu se minimizira obukom aproksimatorske neuronske mreže, gde se diferencijalni operatori primenjuju korišćenjem automatske diferencijacije. Automatska diferencijacija je preduslov da bi se uopšte obavilo treniranje propagacijom unazad i poseduju je sve biblioteke za mašinsko učenje, kao što su Tensorflow, PyTorch, Theano, i druge.