Jag byggde ett kontinuerligt attraktornätverk med 3 motoriska neuroner som lär sig att styra mössen mot mat med hjälp av belöningsmodulerad Hebbiansk plasticitet Ingen backpropagation och ingen SGD. I det här fallet lärde sig de nätverkande till en början att cirkla runt maten 😯 Källkoden är öppen källkod. länk i kommentar 36 neuroner i CAN upptäcker var maten finns, varje neuron i detta nätverk ansluter till varje motorneuron. Till en början är kopplingarna slumpmässiga och svaga, och de blir starkare när mössen närmar sig och når maten. Nätverket gör detta genom att hålla reda på vilka neuroner som avfyras tillsammans för att uppnå detta och stärka dessa kopplingar Om du tycker att detta är intressant kan du kolla in mitt projekt Spiking neurala nätverk. Jag kommer att lägga en länk till det i kommentaren också

Spiking Neural Network från grunden uppnår 8 % noggrannhet. ingen backpropagation eller SGD Jag skapade en genetisk hyperparameteroptimerare och den kan nu i genomsnitt få 8% noggrannhet vilket är ~3% över chansen Länk till källkod med en detaljerad video och markdown-förklaringar i kommentaren Det börjar också vanligtvis lägre än 5 % och förbättras långsamt för att så småningom börja sjunka under 5 %, vilket får mig att tro att det finns glimtar av lärande som äger rum. Ibland är det stabilt runt 7-8-9% under lång tid det finns ingen backpropagation eller SGD. den lär sig via STDP (spike timing dependent plasticity) och en belöningsmekanism Varje exempel presenteras n många gånger (500 i det här fallet) vilket ger ett spiktåg som leder till en behörighetslista, i slutet av en tur baserat på om svaret var korrekt eller inte justerar vi vikterna med hjälp av belöningen som en multiplikator Spiktiming håller reda på sekvensen av neuronavfyrningar och vilka som var mer sannolika att ha lett till rätt svar Låt mig veta vad du tycker