Como o primeiro SSLM para o Falcon, ele se diferencia dos modelos anteriores do Falcon, que todos utilizam uma arquitetura baseada em transformadores. Esse novo modelo Falcon Mamba 7B é mais um exemplo da pesquisa pioneira que o instituto está conduzindo e das ferramentas e produtos inovadores que disponibiliza para a comunidade em formato de código aberto.
Sua Excelência Faisal Al Bannai, secretário-geral do ATRC e conselheiro do presidente dos Emirados Árabes Unidos para Pesquisa Estratégica e Assuntos de Tecnologia Avançada, disse: ?O Falcon Mamba 7B marca o quarto modelo de IA consecutivo da TII com a melhor classificação, reforçando Abu Dhabi como um centro global de pesquisa e desenvolvimento de IA. Essa conquista destaca o compromisso inabalável dos Emirados Árabes Unidos com a inovação?.
Para modelos com arquitetura de transformador, o Falcon Mamba 7B supera o Llama 3.1 8B e o Llama 3 8B da Meta, além do Mistral 7B, nos novos benchmarks introduzidos pela HuggingFace. Enquanto isso, em relação aos outros SSLMs, o Falcon Mamba 7B supera todos os outros modelos de código aberto nos antigos benchmarks e será o primeiro modelo na nova tabela de classificação de benchmark mais rígida da HuggingFace.
Dra. Najwa Aaraj, diretora-executiva do TII, disse: ?O Instituto de Inovação Tecnológica continua expandindo os limites da tecnologia com sua série de modelos de IA Falcon. O Falcon Mamba 7B representa um trabalho verdadeiramente pioneiro e abre caminho para futuras inovações em IA que irão aprimorar as capacidades humanas e melhorar vidas?.
Os modelos State Space são extremamente eficientes na compreensão de situações complexas que evoluem com o tempo, como um livro inteiro. Isso ocorre porque os SSLMs não exigem memória adicional para digerir informações tão grandes.
Os modelos baseados em transformadores, por outro lado, são muito eficientes em lembrar e usar informações que processaram anteriormente em uma sequência. Isso os torna muito bons em tarefas como a geração de conteúdo; no entanto, como eles comparam cada palavra com cada outra, isso exige um poder computacional significativo.
Os SSLMs podem encontrar aplicações em vários campos, como estimativa, previsão e tarefas de controle. Semelhante aos modelos de arquitetura de transformador, eles também se destacam em tarefas de Processamento de Linguagem Natural e podem ser aplicadosàtradução automática, resumo de texto, visão computacional e processamento de áudio.
Dr. Hakim Hacid, pesquisador-chefe interino da Unidade de Pesquisa Cruzada em IA do TII, disse: ?Ao apresentarmos o Falcon Mamba 7B, sinto orgulho do ecossistema colaborativo do TII que fomentou seu desenvolvimento. Este lançamento representa um avanço significativo, inspirando novas perspectivas e impulsionando ainda mais a busca por sistemas inteligentes. No TII, estamos expandindo os limites tanto dos modelos SSLM quanto dos modelos baseados em transformadores para estimular ainda mais a inovação em IA generativa?.
Os LLMs do Falcon foram baixados mais de 45 milhões de vezes, o que comprova o sucesso extraordinário dos modelos. O Falcon Mamba 7B será lançado sob a TII Falcon License 2.0, a licença de software permissiva baseada no Apache 2.0, que inclui uma política de uso aceitável que promove o uso responsável da IA. Mais informações sobre o novo modelo podem ser encontradas em FalconLLM.TII.ae.
Fonte: Aetoswire