Por que as empresas de IAs estão “devorando” livros impressos?

Modelos de IA atuais vêm recebendo uma fonte curiosa de informações: os livros impressos. Esse mercado tem sido alimentado pelo ISBNdb, site que diz ter a maior base de livros do mundo. A plataforma funciona como um reservatório digital das obras, com captação em pequenos e grandes fornecedores. Apesar de ser uma fonte importante para treinar IAs, há um receio quanto ao destino dessas unidades após a leitura das máquinas: muitos podem estar sendo “devorados”, ou pior, destruídos.

Segundo a ISBNdb, essa é a melhor forma de treinar os LLMs, uma vez que são materiais “limpos”, ou seja, sem o mal-falado AI Slop, conteúdo raso produzido com interferência de inteligências artificiais generativas. Ao utilizar dados mais recentes, a qualidade das informações levantadas pode cair, e a busca por livros impressos é uma forma de resolver o problema.

De acordo com o site 404 media, que noticiou o caso em primeira mão, as desenvolvedoras de IA têm preferência por livros lançados antes de 2022, ano em que modelos como ChatGPT e Claude começaram a se destacar no mercado. Além disso, é importante dizer que os LLMs têm como principais fontes de informações sites como Reddit e Wikipedia, com textos produzidos de forma independente pelos usuários.

Dados mais limpos; IA mais assertiva

O objetivo dessa procura por livros impressos é aumentar a qualidade dos dados utilizados pelos modelos de IA. Essa é uma forma de evitar o AI Slop, prática que tem sido bastante combatida atualmente na internet. Nesta semana, o LinkedIn começou a liberar um botão para denunciar conteúdos assim. Textos rasos produzidos inteiramente ou com alguma ajuda das inteligências artificiais são um problema para usuários de redes sociais e até empresas, com o chamado Workslop.

Os LLMs são capazes de criar diálogos mais humanos, o que requer uma boa base de interações reais. Por isso a importância de treinamentos a partir de redes sociais como o Reddit. Da mesma forma, a Wikipedia é uma plataforma com bastantes dados reunidos, o que também facilita o acesso a um grande volume de informações escritas de forma simples.

O desafio é conseguir esses livros impressos em larga escala. Para isso, a ISBNdb tem em seu catálogo dados de livrarias, pequenos vendedores e até títulos revendidos individualmente. Segundo a empresa, é possível coordenar compras com volume de até 1 milhão de unidades.

Novo mercado preocupa vendedores

O aumento na compra de livros impressos justamente em um momento de digitalização massiva dos conteúdos chama atenção. Além disso, a movimentação é observada com cautela por marketplaces, já que a oferta não corresponde a uma demanda tão alta.

Alguns vendedores relatam ainda uma falta de transparência nesses negócios, já que não há nenhuma informação sobre quem está comprando esses grandes volumes e porquê. A ISBNdb, por sua vez, afirma que as negociações são confidenciais. Um ponto positivo para os vendedores, além da vantagem financeira, é a saída de títulos que estavam encalhados nas prateleiras, como afirmou um entrevistado para o site 404 Media.

Há ainda o receio de que as obras sejam destruídas depois de escaneadas. É o que sugere um processo judicial movido contra a Anthropic nos Estados Unidos: o método de digitalização requer que as páginas sejam cortadas para serem lidas pelas máquinas, o que aceleraria o processo. Pensando em livros raros e de baixa circulação, é possível que muito material precioso vire apenas “alimento” de IA nesse processo.