Tópicos populares
#
Bonk Eco continues to show strength amid $USELESS rally
#
Pump.fun to raise $1B token sale, traders speculating on airdrop
#
Boop.Fun leading the way with a new launchpad on Solana.
sofrendo de fadiga de chatbot?
fadado por ter sido cancelada a singularidade?
procurando algo novo que lhe dê esperança?
aqui está o meu plano delirante, mas "ei, faz meio sentido" para construir super-inteligência no meu pequeno laboratório de pesquisa indie
(observação: vou trocar precisão por pedagogia)
primeiro, um contexto:
sou um homem de 33 anos que passou os últimos 22 anos a programar. ao longo do tempo, fiz muitas perguntas sobre a natureza da computação e acumulei algumas... percepções bastante... peculiares. há alguns anos, construí o HVM, um sistema capaz de executar programas em uma linguagem esotérica chamada "Haskell" na GPU - sim, o mesmo chip que fez o deep learning funcionar e acendeu todo este ciclo de IA.
mas como o Haskell se relaciona com a IA?
bem, essa é uma longa história. como os mais velhos podem lembrar, naquela época, o que chamávamos de "IA" era... diferente. quase 3 décadas atrás, pela primeira vez, um computador derrotou o campeão mundial de xadrez, acendendo muitos debates sobre AGI e singularidade - assim como hoje!
o sistema, chamado Deep Blue, era muito diferente dos modelos que temos hoje. não usava transformers. não usava redes neurais de forma alguma. na verdade, não havia "modelo". era uma pura "IA simbólica", o que significa que era apenas um velho algoritmo simples, que escaneava bilhões de possíveis movimentos, mais rápido e mais profundo do que qualquer humano poderia, vencendo-nos pela pura força bruta.
isso gerou uma onda de promissora pesquisa em IA simbólica. algoritmos evolutivos, gráficos de conhecimento, prova automática de teoremas, solucionadores SAT/SMT, solucionadores de restrições, sistemas especialistas e muito mais. infelizmente, com o tempo, a abordagem encontrou um obstáculo. regras construídas à mão não escalavam, sistemas simbólicos não conseguiam *aprender* dinamicamente, e a bolha estourou. um novo inverno da IA começou.
foi apenas anos depois que um curioso alinhamento de fatores mudou tudo. os pesquisadores limparam uma ideia antiga - redes neurais - mas desta vez, tinham algo novo: GPUs. esses chips gráficos, originalmente construídos para renderizar videogames, mostraram-se perfeitos para as massivas multiplicações de matrizes que as redes neurais exigiam. de repente, o que levava semanas podia ser feito em horas. o deep learning explodiu, e aqui estamos hoje, com transformers dominando o mundo.
mas aqui está a questão: apenas portamos *um* ramo da IA para GPUs - o conecionista, numérico. o lado simbólico? ainda está preso na era da CPU.
Haskell é uma linguagem especial, porque unifica a linguagem das provas (ou seja, o idioma que os matemáticos usam para expressar teoremas) com a linguagem da programação (ou seja, o que os desenvolvedores usam para construir aplicativos). isso a torna singularmente adequada para raciocínio simbólico - o exato tipo de computação que o deep blue usou, mas agora podemos executá-lo em massa paralela no hardware moderno.
(para ser mais preciso, apenas a paralelização massiva da GPU não é a única coisa que o HVM traz à mesa. acontece que também resulta em *acelerações* assintóticas em alguns casos. e esta é uma razão chave para acreditar em nossa abordagem: os métodos simbólicos passados não eram apenas computacionalmente famintos. eram exponencialmente lentos, em um sentido algorítmico. não é de admirar que não funcionaram. não tinham chance.)
minha tese é simples: agora que posso executar Haskell em GPUs, e dado este aumento assintótico de velocidade, estou em posição de ressuscitar esses antigos métodos de IA simbólica, escalá-los em ordens de magnitude e ver o que acontece. talvez, apenas talvez, um deles nos surpreenda.
nosso primeiro marco já está em movimento: construímos o programa/sintetizador de provas mais rápido do mundo, que chamo de SupGen. ou NeoGen. ou QuickGen? vamos lançá-lo como uma atualização para nossa linguagem "Bend", tornando-o publicamente disponível por volta do final de outubro.
então, mais tarde este ano, usaremos isso como a base para um novo programa de pesquisa, buscando uma arquitetura simbólica pura que possa realmente aprender com dados e construir generalizações - não através de descida de gradiente e retropropagação, mas através de raciocínio lógico e síntese de programas.
nossos primeiros experimentos serão muito simples (não muito diferentes do GPT-2), e o principal marco seria ter uma "ferramenta de conclusão do próximo token" que esteja 100% livre de redes neurais.
se isso funcionar, poderia ser um salto revolucionário além dos transformers e do deep learning, porque é uma abordagem totalmente nova que provavelmente eliminaria muitas limitações herdadas do GPT que as IAs têm hoje. não apenas problemas de tokenização (como os R's em morango), mas questões fundamentais que impedem os GPTs de aprender eficientemente e generalizar.
delirante? provavelmente
vale a pena tentar? absolutamente
(agora adivinhe quanto foi gerado por IA e qual modelo usei)
37,63K
Top
Classificação
Favoritos