Modelos abertos e fechados

docs.scrimba.com

Por baixo, um modelo é uma grande pilha de pesos treinados (os números que ele aprendeu durante o treinamento) que prevê o próximo token. Este capítulo é sobre as duas maneiras como esses pesos chegam até você, modelos fechados que você aluga através de uma API e modelos de peso aberto que você pode executar sozinho, e sobre onde cada um realmente funciona. O padrão para o qual todos são apontados é um modelo fechado hospedado, e os provedores têm pouca razão para destacar as alternativas, então vale a pena conhecer o menu completo e quando cada parte importa.

Pesos abertos, pesos fechados

Há duas maneiras de ter acesso a um modelo de IA, e a diferença depende de onde o modelo realmente fica.

A primeira maneira é um modelo fechado, às vezes chamado de proprietário. Você o acessa apenas através da API da empresa, que é uma espécie de porta online: você envia texto, recebe texto de volta, e é todo o arranjo. Os pesos do modelo, a gigante pilha de números treinados que o faz funcionar, ficam trancados nos servidores da empresa. Você está alugando acesso, não possuindo nada.

A segunda maneira é um modelo de peso aberto. Aqui a empresa publica esses pesos, para que você possa baixar sua própria cópia e executá-la em hardware que você controla. Pense em alugar um apartamento cuja fiação você nunca poderá ver, versus possuir uma cópia dos planos do prédio.

A maioria das pessoas começa com uma API fechada porque é a porta de entrada mais fácil para entrar, e esse é um lugar fino para começar. A opção aberta é real e vale a pena conhecer, para que você entenda que alugar é uma escolha e não o único caminho.

JunoPesos abertos, pesos fechados Um modelo fechado fica nos servidores da empresa e você o acessa através de sua API, portanto você está alugando acesso. Um modelo de peso aberto tem seus números publicados, para que você possa baixar uma cópia e executá-lo sozinho. Começar com uma API fechada é perfeitamente aceitável, mas ajuda saber que a outra porta existe.

A distinção toda depende de uma pergunta: quem possui os pesos? Com um modelo fechado ou proprietário, os pesos nunca deixam o provedor e você fala com o modelo apenas através de uma API. Com um modelo de peso aberto, os pesos são publicados sob uma licença que você pode baixar e executar onde quiser.

Cuidado aqui, porque "peso aberto" não é o mesmo que "código aberto". Quase todos os LLMs "abertos" liberam os pesos treinados, mas guardam os dados de treinamento e o código de treinamento, então você não pode reproduzir totalmente o modelo do zero. Algumas licenças também carregam restrições de uso, coisas como um limite no tamanho da empresa que pode usá-lo comercialmente, ou limitações no uso permitido. Leia a licença antes de se comprometer; "aberto" é um espectro, não um binário.

Em relação à capacidade, modelos fechados de ponta (os modelos mais capazes disponíveis em um determinado momento) muitas vezes lideram os benchmarks públicos. Mas modelos fortes de peso aberto estão próximos o suficiente para uma grande parcela de tarefas reais, e a lacuna continua a diminuir ao longo do tempo. O movimento prático é não assumir que você precisa do modelo absolutamente melhor. Muitos trabalhos são bem servidos por um aberto, e você descobre testando contra sua própria tarefa em vez de um placar.

JunoPesos abertos, pesos fechados Fechado significa apenas API com os pesos permanecendo no provedor; peso aberto significa pesos publicados que você pode baixar e executar. Peso aberto não é código aberto, já que os dados e o código de treinamento geralmente permanecem privados e a licença pode restringir o uso, então leia-a. Modelos fechados de ponta lideram os benchmarks, mas um modelo forte de peso aberto lida com muito trabalho real, então escolha pela tarefa.

O que "aberto" realmente compra para você é controle e o fim da aprisionamento por fornecedor. Você pode fixar os pesos exatos para que o modelo nunca mude silenciosamente sob você, inspecionar seu comportamento, e executá-lo em qualquer lugar onde você tenha hardware. Essa é uma vantagem real quando reprodutibilidade ou residência de dados importa.

O que não compra para você é almoço grátis. Peso aberto quase sempre significa pesos-mais-licença em vez de código aberto: sem dados de treinamento, frequentemente termos de licença não triviais. Então conformidade e revisão de licença se tornam trabalho real na sua placa, e um modelo que soa permissivo ainda pode restringir uso comercial ou redistribuição de maneiras que surgem tarde se você pular a leitura.

A lacuna de capacidade de ponta também é real para as tarefas mais difíceis, mesmo conforme encolhe. Então escolha pela tarefa na sua frente, não pelo rótulo. Para a maior parte do trabalho rotineiro um modelo de peso aberto é suficiente; para a borda da dificuldade a ponta fechada pode ainda vencer.

A coisa que tenho que me lembrar constantemente: trate "aberto" como uma propriedade dos pesos e da licença juntos, e leia ambos. "Posso baixá-lo" não é a mesma frase que "posso fazer qualquer coisa com ele", e a lacuna entre essas duas me mordeu antes.

JunoPesos abertos, pesos fechados Pesos abertos compram controle e uma fuga do aprisionamento por fornecedor: versões fixas, comportamento inspecionável, execução em qualquer lugar. Eles não compram código aberto, então orce pela licença e revisão de conformidade, porque uma licença com aparência amigável ainda pode barrar uso comercial. Escolha pela tarefa, não pelo rótulo, e nunca leia "Posso baixá-lo" como "Posso fazer qualquer coisa com ele".

Onde o modelo funciona

Há uma crença circulando que escolher um modelo aberto significa que você tem que configurar seus próprios servidores e executar a coisa sozinho. Isso não é verdade, e vale a pena esclarecer logo cedo.

Um modelo pode funcionar em um de dois lugares. Com um modelo hospedado, alguma empresa o executa em suas máquinas e você o acessa pela web com uma chamada de API, que é um pequeno pedido que seu código envia e recebe uma resposta de volta. Você nunca toca no computador em que funciona. Com auto-hospedagem, você executa o modelo você mesmo, em seu próprio computador ou seu próprio servidor.

Aqui está a parte que as pessoas perdem. Um modelo aberto não o força para auto-hospedagem. Você pode usar um modelo aberto através de uma empresa de hospedagem da mesma forma confortável que usaria um fechado: você envia um pedido, recebe uma resposta, e alguém mantém a máquina funcionando. Auto-hospedagem é uma opção que você pode tomar, não uma regra que você deve seguir.

JunoOnde o modelo funciona Um modelo ou funciona na máquina de outra pessoa que você acessa pela web, ou em uma máquina que você executa sozinho. Modelos abertos podem fazer ambos, então escolher um não significa que você de repente tem que gerenciar servidores. Você pode deixar uma empresa de hospedagem executar um modelo aberto para você, exatamente como faria com um fechado.

Ajuda abandonar o modelo mental de duas caixas, porque onde um modelo funciona é realmente um espectro. Em uma extremidade, um modelo fechado chamado através da API do provedor. No meio, um modelo de peso aberto executado para você por um host de terceiros. Na outra extremidade, um modelo de peso aberto que você executa sozinho, que é auto-hospedagem: você fornece a máquina e executa o programa que serve o modelo.

O motivo pelo qual mover ao longo desse espectro é barato: uma forma de API de mensagem de bate-papo amplamente adotada se tornou um padrão de facto, e muitos hosts de modelos abertos e servidores auto-hospedados expõem essa mesma forma. Então trocar de provedores é frequentemente principalmente uma mudança de URL base e nome do modelo em vez de uma reescrita (veja chamando modelos do código). Nada que você aprenda sobre chamar um modelo é trancado a um fornecedor.

À primeira vista, auto-hospedagem significa que você fornece o hardware (uma GPU capaz, ou um servidor GPU alugado) e executa um programa de serviço na frente do modelo. Trate isso como trabalho real para o qual você está se inscrevendo. Ficamos no nível de decisão aqui e não aprofundamos na configuração.

JunoOnde o modelo funciona Pense em um espectro: fechado via o provedor, aberto via um host de terceiros, ou aberto auto-hospedado. Porque tantos endpoints compartilham uma forma de API de mensagem de bate-papo, pular entre eles é geralmente uma troca de base_url e nome de modelo, não uma reescrita. Auto-hospedagem é a extremidade distante onde você possui o hardware e o serviço, então alcance-o de propósito, não por padrão.

Auto-hospedagem é infraestrutura, não uma missão secundária. No momento em que você executa o modelo sozinho, você possui planejamento de capacidade, dimensionamento sob carga, disponibilidade, correção de segurança e atualizações de modelo. "Funciona no meu laptop" é uma demonstração; produção é uma conta diferente.

O caminho do meio que a maioria das equipes pula é um host de modelo aberto gerenciado. Você obtém a vantagem do modelo aberto (custo mais baixo do que a ponta fechada, a capacidade de fixar uma versão de modelo específica, opções de onde seus dados ficam, sem aprisionamento a um único fornecedor) sem montar GPUs você mesmo. A forma de API de bate-papo de facto é seu seguro: mantenha seu código em essa interface e trocar hosts, ou trazer um modelo para casa depois, continua sendo uma mudança de config em vez de uma migração.

Vi um "auto-hospedagem rápida" comer um trimestre, então reservo a auto-hospedagem verdadeira para quando uma pressão específica realmente a exige: regras de residência de dados, economia de escala que se inverte a seu favor, ou um modelo que você deve controlar de ponta a ponta. Na ausência de um desses, aberto gerenciado ou fechado hospedado é a resposta.

JunoOnde o modelo funciona Executar seu próprio modelo significa possuir capacidade, disponibilidade, correção e atualizações, então não entre nele por acaso. O caminho que as equipes ignoram é um host de modelo aberto gerenciado: economia e controle do modelo aberto sem a babá da GPU. Código para a API de bate-papo padrão e mudanças de provedor permanecem config, não migração. Salve a auto-hospedagem verdadeira para uma razão concreta como residência de dados, matemática de escala, ou controle difícil de modelo.

Quando cada um faz sentido

Aqui está uma maneira simples de manter a escolha toda. Um modelo fechado hospedado é aluguel: não há nada para configurar, você obtém a melhor qualidade disponível, e paga um pouco cada vez que o usa. Um modelo aberto que você executa sozinho é mais próximo de possuir: você obtém mais controle e mais privacidade, e não há conta de uso por provedor, mas você assume o trabalho de mantê-lo funcionando.

A maioria das pessoas está certa em começar alugando através de uma API, e a maioria nunca precisa de mais do que isso. Alugar primeiro é o caminho normal, sensato.

O ponto deste capítulo não era que você deveria mudar para executar o seu próprio. Era apenas que você deveria saber que a escolha é sua, então se suas necessidades mudarem um dia, você reconhecerá a opção pelo que é.

Com um modelo escolhido, a próxima pergunta é como você fala com ele. O próximo capítulo, Prompting, é sobre orientar qualquer modelo que você escolha para que ele lhe dê o que você realmente quer.

JunoQuando cada um faz sentido Pense em alugar versus possuir: um modelo fechado hospedado é aluguel, um modelo aberto que você executa sozinho é mais próximo de possuir. Alugar através de uma API é o lugar certo para começar, e a maioria das pessoas fica feliz lá. Você agora sabe que a outra porta existe, que é o ponto inteiro. A seguir vem Prompting, onde aprendemos a orientar o modelo que você escolheu.

Quando você realmente tem que escolher, pese os fatores nesta ordem aproximadamente. Primeiro, capacidade: um modelo de ponta hospedado ganha seu sustento nesta tarefa, ou um modelo forte de peso aberto já é suficiente? Segundo, sensibilidade de dados: esses dados podem sair de seu limite sob os termos do provedor, ou a residência de dados (regras sobre onde os dados podem fisicamente viver e ser processados) a regra fora?

Terceiro, a curva de custo. Uma API por token é barata para começar e permanece barata em baixo volume, mas pode ficar cara em volume alto constante, que é onde a auto-hospedagem de custo fixo pode vencer. Quarto, controle: você precisa fixar o comportamento exato entre versões, ou evitar ser trancado a um fornecedor?

O movimento é o mesmo a maioria das vezes. Comece com uma API hospedada, porque é o caminho mais rápido para algo funcionando. Depois revise apenas quando uma pressão específica realmente aparece: custo em escala, um requisito de privacidade ou conformidade, ou uma real capacidade ou necessidade de controle.

Decida sobre evidência, não sobre padrões ou ideologia. Uma vez que seu modelo está definido, Prompting é como você obtém saída confiável dele.

JunoQuando cada um faz sentido Pese quatro coisas em ordem: capacidade necessária, sensibilidade de dados, a curva de custo, e controle. Comece em uma API hospedada porque a coloca funcionando mais rápido, depois revise apenas quando uma pressão concreta aparecer, como custo em volume alto ou uma regra de residência de dados. Troque sobre evidência, não sobre um pressentimento. Então vá para Prompting para fazer o que você escolheu se comportar.

A versão simples. Para a maioria das equipes uma API fechada hospedada é o padrão correto, e auto-hospedar um modelo de peso aberto é uma decisão de custo e controle, não um distintivo de seriedade. Isso compensa após uma certa escala, ou sob uma restrição de conformidade ou residência de dados, e não muito antes disso.

Então saiba aproximadamente onde a curva de custo se cruza para seu volume, porque esse ponto de cruzamento é todo o argumento financeiro. Saiba o que suas regras de dados realmente exigem, não o que vagamente parecem exigir, que é onde segurança e limites e a questão do que você envia entra. E saiba que pesos abertos também são o que permite que você faça ajuste fino livremente em seus próprios termos sem pedir permissão a um provedor (veja ajuste fino). Evitar aprisionamento por fornecedor, estar ligado aos preços, termos e ciclo de vida de modelo de um provedor, é parte do mesmo cálculo.

O motivo para aprender tudo isto não é para que você vá e auto-hospede. Vi pessoas montar sua própria pilha para provar um ponto e se arrepender pela segunda semana de on-call. É que o caminho padrão é o modelo fechado hospedado, e os provedores têm pouca razão para apontá-lo para as alternativas, então um engenheiro que conhece o menu completo faz uma escolha deliberada em vez de uma herdada.

Com a questão do modelo resolvida em seus méritos, Prompting é onde o trabalho do dia a dia de obter boa saída começa.

JunoQuando cada um faz sentido Para a maioria das equipes a API fechada hospedada é o padrão certo, e auto-hospedar um modelo de peso aberto é uma decisão de custo e controle que compensa além de uma certa escala ou sob uma restrição de conformidade, não uma característica de personalidade. Saiba onde sua curva de custo se cruza, saiba o que suas regras de dados realmente exigem, e lembre-se que pesos abertos compram ajuste fino gratuito e uma saída do aprisionamento por fornecedor. Vi a auto-hospedagem para provar um ponto, e o arrependimento é real. Aprenda o menu completo para que você escolha de propósito, depois prossiga para Prompting.