DeepSeek, uma grande empresa de modelos da Huánfāng Quant, adota a tecnologia de cache de disco rígido.

Notícias do dia 2 de agosto da Jinshi Data: Em 2 de agosto, a gigante da venda privada, Huansquare Quantitative, anunciou em sua conta oficial que sua nova organização de exploração da AGI (Inteligência Artificial Geral), DeepSeek, está utilizando a tecnologia de cache de disco rígido em contexto para armazenar em cache o conteúdo que se espera ser reutilizado no futuro em uma matriz distribuída de discos rígidos. No cenário de uso da API de modelos grandes, se houver duplicação na entrada, a parte duplicada só precisa ser lida do cache, sem a necessidade de cálculo. A parte em cache que atende é cobrada a 0,1 yuan por cada milhão de tokens pela DeepSeek.

Ver original
  • Recompensa
  • Comentário
  • Compartilhar
Comentário
Sem comentários