Complete Gate Post tasks to upgrade your rank

Credit Ranking

[//]:content-type-MARKDOWN-DONOT-DELETE
![](https://gimg2.gateimg.com/image/article/1686098682RDZZ.jpeg)

Os GPTs podem traduzir textos, resumir dados e criar conteúdo adequado para diversos fins, como marketing.

A Megabyte da Meta tem como objetivo superar os obstáculos que outros sistemas GPT, como o GPT-4 da OpenAi e o ChatGPT, enfrentam.

Megabyte é diferente de outros modelos GPT porque não utiliza tokenização.

O modelo Megabyte é composto por um transformador local, um incorporador de remendo e um transformador global.

## Introdução

A inovação tecnológica revolucionou a forma como os seres humanos interagem e realizam várias tarefas, incluindo as pessoais ou comerciais. A inteligência artificial, também chamada de aprendizado de máquina, é capaz de realizar diferentes atividades, como escrever ensaios ou fazer planos financeiros. Neste artigo, discutiremos a importância do Generative Pre-trained Transformer (GPT) no processamento de linguagem natural e suas aplicações. Também nos concentraremos no Sistema de megabytes da Meta, que supera vários obstáculos para GPTs.

## Importância dos GPTs no processamento de linguagem natural

Os transformadores treinados de forma generativa (GPTs) têm muitos benefícios em vários setores da economia, pois aumentam a produtividade e aumentam a consciência social. Primeiro, é importante saber que os GPTs criam textos semelhantes aos humanos em vários assuntos.

Os GPTs utilizam vários parâmetros para processar dados e apresentá-los de formas que são fáceis de entender. Existem diferentes aplicações que utilizam GPTs para criar valor para os seres humanos e a sociedade em geral.

Basicamente, os GPTs são componentes importantes de aplicações impulsionadas por inteligência artificial que traduzem informações de um idioma para outro. Eles também geram e resumem grandes volumes de dados em informações fáceis de entender. Em alguns casos, os GPTs permitem a geração de conteúdo adequado para diferentes finalidades, como poemas, posts de blog, ensaios acadêmicos, material de marketing e memes, entre outros.

As empresas também podem usar GPTs para alimentar chatbots e assistentes virtuais que podem interagir com pessoas reais de forma conversacional, ajudando-as a entender diferentes aspectos comerciais ou sociais. Para fins comerciais, eles podem gerar análises de sentimento sobre qualquer tópico ou campo de interesse. Como exemplo, existem protocolos impulsionados por IA que geram sentimentos de mercado de criptomoedas que permitem aos traders e outros investidores tomarem decisões de investimento informadas.

Outros casos de uso de GPTs em processamento de linguagem natural e aplicações de IA incluem criação de conteúdo para marketing de produtos, atendimento ao cliente, análise de informações financeiras, bem como extração e relatórios de dados, entre outros.

## Limitações dos modelos tradicionais GPT

Embora haja várias [tipos de GPTs](https://www.gate.io/live/video/90b1e91dd5e7fb207b1509a809e5b444 "types of GPTs") criado por diferentes plataformas como ChatGPT e Openai, a maioria delas tem sérias limitações.

Os atuais melhores modelos de IA Generativa [incluindo o GPT-4 da OpenAI e o ChatGPT](https://www.gate.io/blog_detail/2064/chatgpt-ai-impacts-healthcare-rising-prices-hit-americans-chinas-redistributive-policies-affect-property-developers "including OpenAI's GPT-4 and ChatGPT") utilize a arquitetura Transformer que foi introduzida pelos pesquisadores do Google. O aumento na escala da autoatenção e no comprimento das entradas e saídas cria um desafio, pois cada palavra precisa de atenção. Basicamente, este sistema funciona bem quando poucas palavras são usadas como entrada.

No entanto, o método Megabyte usa uma arquitetura diferente que divide sequências de entradas e saídas em patches em vez de tokens. Como tal, pode lidar com muito mais palavras do que os modelos atuais.

Além disso, a abordagem da Meta resolve o problema de escalabilidade, que é comum na maioria dos modelos atualmente no mercado. Basicamente, o modelo Megabyte permite que uma única rede feedforward atue em um patch consistindo de múltiplos tokens. Portanto, o sistema Megabyte da Meta funciona em paralelo em vez de serialmente. Isso aumenta sua eficiência, mesmo que o modelo base tenha muitos parâmetros.

Leia também: [O Meta Metaverse: Em que está a trabalhar a empresa?](https://www.gate.io/blog_detail/729/the-meta-metaverse-what-is-the-company-working-on "The Meta Metaverse: What is the company working on?")

Alguns dos modelos, como redes neurais profundas, são complexos de entender e explicar, o que pode reduzir a confiança, a responsabilidade e levantar preocupações éticas. Portanto, há uma necessidade de modelos mais simples, como o Meta Ai, que são fáceis de explicar. Isso ocorre porque a maioria dos usuários gostaria de saber como um sistema funciona para depositar sua confiança nele.

Outra questão é que alguns desses modelos requerem muitos dados para serem validados e treinados. No entanto, tais dados podem não estar disponíveis, o que reduz a sua eficiência. Além disso, questões relacionadas com a privacidade, viés, ruído, segurança, bem como a incompletude dos dados afetam negativamente a robustez e desempenho da maioria dos modelos GPT.

A maioria dos modelos de IA tradicionais são caros e consomem muita energia ao fazer os cálculos. Isso ocorre porque a maioria dos sistemas é intensiva em computação. Como tal, consomem muitos recursos e aumentam os custos ambientais.

Além disso, a maioria desses modelos tem baixa interoperabilidade devido às diferenças em sua padronização. Assim, é muito difícil para eles se integrarem, uma vez que utilizam diferentes idiomas, estruturas e formatos. No entanto, formatos abertos como ONNX ou compiladores universais podem aprimorar sua comunicação.

É importante perceber que a arquitetura do Meta AI é criada de forma a superar a maioria destes problemas.

## Sistema Megabyte da Meta

A Meta AI desenvolveu um novo [Sistema GPT chamado Megabyte](https://encord.com/blog/meta-ai-megabyte-model-architecture-explained/ "GPT system called the Megabyte") com o objetivo de contornar a tokenização que a maioria dos modelos GPT usa. Seu sistema gerador pré-treinado de transformadores (GPT) processa grandes volumes de dados como vídeos e textos, como romances, sem usar a tokenização.

Como ponto de partida, a tokenização funciona de maneira semelhante à compactação de arquivos, convertendo grandes quantidades de dados em tokens. O transformador processa os tokens para criar tokens de saída que o sistema decodifica.

Normalmente, a tokenização permite que os modelos de IA convertam grandes sequências de dados em números. Por exemplo, um sistema pode converter uma frase como "Minha cor favorita é vermelha" em uma sequência de tokens como 3666, 4004, 3124, 318, 2266, 13", que é então processada.

No entanto, com este método há um limite na quantidade de dados que processa. Por exemplo, o limite do GPT-3.5 é entre 3.000 e 4.000 palavras, enquanto o do GPT-4 é entre 24.000 e 32.000.

Por outro lado, [Meta](https://www.gate.io/ja/blog_detail/308/why-is-meta-previously-facebook-betting-big-on-metaverse "Meta") abandonou a tokenização em favor da nova arquitetura de previsão de várias camadas, que depende da modelagem de ponta a ponta de mais de um milhão de bytes de dados. Isso é uma grande conquista considerando que ele pode processar um documento composto por até 750.000 palavras. Isso significa que o sistema Megabyte pode processar dados contidos em três romances de tamanho médio.

Como observado, o Megabyte supera os obstáculos da tokenização decorrentes de seus limites rígidos de dados, muito tempo necessário para treinar sistemas e alto consumo de energia. Além disso, sem tokenização, é possível treinar modelos de IA para suportar idiomas não ingleses que podem ser codificados nos caracteres padrão de 8 bits, por exemplo.

A inteligência artificial de cripto da Meta expandirá as oportunidades existentes à medida que democratiza ainda mais diversas tecnologias blockchain. Por exemplo, os desenvolvedores podem introduzir bots de negociação de criptomoedas em seus idiomas nativos, como russo ou francês. Mais importante ainda, as Organizações Autônomas Descentralizadas (DAOs) podem codificar seus protocolos em idiomas locais também.

## Como funciona o sistema Meta Megabyte

O Megabyte, a arquitetura de decodificador multiescala, modela sequências de mais de 1 milhão de bytes, mantendo a diferenciabilidade de ponta a ponta. Ele usa transformadores multiescala que incorporam diferentes níveis em sua arquitetura, modelando assim padrões globais e locais nos dados.

Basicamente, o modelo Megabyte é composto por três componentes, nomeadamente um módulo local, um incorporador de patch e um módulo global (transformador global). O módulo local, também chamado de transformador local, prevê os bytes dentro de cada patch, enquanto o incorporador é responsável por codificar os patches através da combinação de incorporações de bytes. Por fim, o módulo global, também conhecido como transformador global, introduz e produz as várias representações de patches.

O diagrama a seguir mostra uma visão geral do Megabyte.

![](https://gimg2.gateimg.com/image/article/1686098917Meta 1.png)

O diagrama acima mostra alguns dos principais componentes do Megabyte. Um experimento recente mostrou que o Megabyte pode ser 40% mais rápido que o modelo Transformer. No entanto, é essencial notar que o Megabyte usado durante o experimento tinha 1,5 bilhão de parâmetros, enquanto o transformer tinha 350 milhões.

Em geral, o Megabyte tem várias vantagens em relação aos transformadores tradicionais. Por exemplo, reduz os custos computacionais da auto-atestação, o que torna possível lidar com sequências longas.

Em segundo lugar, utiliza camadas de avanço de alimentação por caminho em vez de por posição, resultando na utilização eficiente de recursos computacionais.

Além disso, aumenta uma maior paralelismo durante o processamento, o que leva a uma geração mais rápida de sequências ao mesmo tempo que mantém um alto desempenho.

A arquitetura Megabyte melhora a escalabilidade, reduz o consumo de recursos e permite uma comunicação suave com várias aplicações baseadas em GPT. Ela alcança alguns desses benefícios dividindo sequências longas em duas sequências mais curtas, o que minimiza os custos de autoatenção. Além disso, o compartilhamento de parâmetros e algoritmos de compressão minimizam os requisitos de recursos do GPT.

## Conclusão

O Megabyte da Meta utiliza o sistema transformador pré-treinado generativo para processar grandes volumes de dados sem utilizar tokenização. Em vez disso, utiliza uma arquitetura de previsão de várias camadas que minimiza custos, aumenta a velocidade, melhora a eficiência, assim como aumenta a escalabilidade e interoperabilidade.

<div class="blog-details-info">
<div>Autor:<strong>Mashell C.</strong>, Pesquisador da Gate.io
<div class="info-tips">*Este artigo representa apenas as opiniões do pesquisador e não constitui quaisquer sugestões de investimento.
<div>*Gate.io reserva todos os direitos deste artigo. A republicação do artigo será permitida desde que a Gate.io seja referenciada. Em todos os casos, medidas legais serão tomadas devido à violação de direitos autorais.
</div><p></p>
</div></div></div>

简体中文

English

Tiếng Việt

Español

Русский язык

Français

ภาษาไทย

日本語

Indonesia

Deutsch

عربي

Português (Portugal]

Português (Brasil]

繁體中文

Українська

福利中心

小红花-Learn & Explore-博客

小红花-Learn & Explore-快讯

币圈-币圈-未来事件

小红花-Learn & Explore-聊天室

小红花-Learn & Explore-直播

小红花-Learn & Explore-动态

币圈

Gate OTC

芝麻金融-更多-财富管理

机构-APIs

机构-大宗交易服务

机构-经纪商项目

全球做市商计划

机构-托管和资产管理

机构借贷

机构-做市商项目

小红花-Promotions-机构和VIP服务

量化基金

机构-基础架构

机构-交易

机构-金融

结构化产品

机构-主页

衍生品-统一账户

芝麻金融-更多-抵押借币

vip服务

机构

策略跟单

现货跟单

交易-合约跟单

跟单

量化策略-探索

量化策略-进阶

量化策略-基础

交易-机器人广场

创建机器人

探索机器人

杠杆网格

无限网格

期现套利

组合指标策略

智能调仓

现货马丁格尔

合约网格

现货网格

交易机器人

芝麻金融-更多-ETH2.0挖矿

芝麻金融-更多-法币理财

链上赚币

芝麻金融-理财-双币宝

芝麻金融-理财-定期理财(屯币)

芝麻金融-理财-结构性理财

芝麻金融-理财-理财宝

芝麻金融-理财-余币宝

GT挖矿

芝麻金融-更多（理财产品）

芝麻金融-理财（打新）

launchpool

launchpad

赚币-HODLer Airdrop

candy_drop

web3 Airdrop

赚币

模拟交易

衍生品-期权

衍生品-交割合约

衍生品-永续合约

合约入门

合约活动

衍生品

交易-杠杆ETF

交易-杠杆交易

交易-闪兑

交易-现货交易

交易-创新交易

交易-交易工具

交易-交易类型

交易-盘前交易

交易

行情

买币-gateCard

卖币

买币-快捷交易

买币

买币-paywith

法币定投

小红花-推广

新手指南

活动中心

小红花-Learn & Explore-学院

小红花-Exchange-最新公告

小红花-Exchange-帮助中心

gate商店

小红花-Promotions-邀请计划

小红花-promotions-代理商

储备金

合作伙伴

cextg小程序

小红花

web3

Novo sistema de megabytes da Meta: um avanço na superação de obstáculos para GPTs