Kostnader för neurala nätverk: varför är det så dyrt att träna dem på modeller för djupinlärning?

O djupt lärande ("deep learning", i fri översättning) löste många utmaningar relaterade till inteligência artificiell (IA). Det är genom denna teknik som neurala nätverk tränas. Och den kostnaden för neurala nätverkhar i sin tur blivit allt starkare.

Bland de nya utmaningarna som har uppstått med denna kostnadsökning är tillväxten av företagens koldioxidavtryck (ett mått som beräknar motsvarande koldioxidutsläpp som släpps ut i atmosfären) och kommersialiseringen av AI-relaterad forskning.

I detta sammanhang efterfrågas också kapaciteten hos inteligência artificiell finns på avancerade enheter utan att nödvändigtvis vara beroende av servrar och moln. Detta innebär i sin tur att kostnaden för neurala nätverk är mer kostnadseffektiv. I praktiken är det inte det som händer.

Kostnad för neurala nätverk

Den goda nyheten är att AI-forskare har gjort framsteg när det gäller att hitta sätt att minska kostnaderna för att driva modeller för djupinlärning. De dåliga nyheterna är att minska kostnaderna för neurala nätverk — och deras utbildning — fortsätter att vara en okänd.

Nyligen publicerade forskare från MIT och University of Toronto en papper om utmaningen att "beskära" neurala nätverk. I studien påpekar gruppen varför de mest avancerade metoderna inte kan minska kostnaderna för att träna neurala nätverk utan att ha en betydande inverkan på teknikens prestanda.

Vad du kan göra är att "beskära" de neurala nätverken efter att ha byggt en stor och avancerad modell för djupinlärning. Detta kallas "beskärning efter träning". Det fungerar så här: efter att de neurala nätverken i en djupinlärningsmodell har gått igenom hela träningsprocessen, skärs de flesta av de konfigurerade parametrarna (vilket kan minska modellstorleken till upp till 10 % av den ursprungliga storleken). Detta är möjligt efter att ha bestämt "vikten" som varje parameter hade för det slutliga värdet för det neurala nätverket.

Många teknikföretag använder denna metod för att komprimera AI-modeller för att få dem att passa (och fungera bra) på smartphones, bärbara datorer och smarta hemenheter. Det finns områden där det till och med är möjligt att implementera djupinlärning, via kompakta neurala nätverk, på enheter som drivs av solenergi.

"Beskärning" av neurala nätverk

När vi pratar om kostnaden för AI-neurala nätverk och hur dyrt det är att träna dem, kanske du, kära läsare, redan har lagt märke till hålet i logiken att "beskära" dessa nätverk efter deras träningsprocess. 

För att denna "beskärning" ska vara möjlig måste neurala nätverk behöver tränas. Och detta är bara möjligt genom en enorm serie parametrar, som finns i en lika stor modell för djupinlärning. Det är här den höga kostnaden som vi undersöker i denna fråga ligger.

Frågan är: finns det ett sätt att bygga ett kompakt neuralt nätverk utan att behöva en större (och dyrare) version? MIT-forskarna Jonathan Frankle och Michael Carbin publicerade en studie 2018 som visade en möjlig väg till detta. De kallade studien "Lotteriets hypotes".

I studien påpekar forskarna att det i många modeller för djupinlärning finns små delmängder av neurala nätverk som kan tränas. I praktiken skulle detta fungera som en slags genväg i denna process att skapa neurala nätverk, träna dem på en omfattande serie parametrar och sedan "beskära" dem. Att hitta dessa "undernätverk", som forskarna kallade dem, kan avsevärt minska tiden och kostnaderna för att träna neurala nätverk på modeller för djupinlärning.

Men studien av MIT-forskare stötte på en rad hinder när det kom till att visa att denna avhandling var 100% effektiv. Tester har visat att utmaningen i det här fallet är att identifiera vilka delmängder inom en djupinlärningsmodell som har potential att bli avsevärt optimerad.

Potentialen för denna forskning

Att minska kostnaderna för neurala nätverk och deras utbildning är fortfarande okänt, men det finns möjliga vägar för forskare att utforska. Detta innebär att det fortfarande finns utrymme för vetenskapliga framsteg inom detta område, vilket kan ha en enorm inverkan på framtiden för AI-forskning och dess tillämpningar.

Å ena sidan kostnader för att träna neurala nätverk inom djupinlärning fortsätter modellerna att öka. Å andra sidan har forskningsområden i mångmiljarddollar teknikföretag blivit allt viktigare och värderade. Dessutom har dessa företag stöttat laboratorier från externa institutioner för att bedriva forskning inom denna nisch.

Att upptäcka effektiva sätt att "beskära" neurala nätverk innan de tränas kan skapa nya möjligheter för en ännu större grupp AI-forskare och labb som inte har tillgång till avancerade datorresurser. Tills dess fortsätter vi att vänta. Och noga följa utvecklingen av dessa undersökningar.

Källa: NextWeb; Cornell University

Vad är din åsikt om denna "knut" relaterad till kostnaden för AI-neurala nätverk? Berätta för oss här i kommentarerna!