Reenviar el título original: Sentient: Todo lo que necesitas saber - Combinando lo mejor de los modelos de IA abiertos y cerrados

¡Buenos días amigos!

Hoy tenemos una publicación de invitado porMoyed, con contribuciones editoriales de Teng Yan. Nos encanta apoyar a jóvenes investigadores inteligentes en el campo. También se puede encontrar publicado en su sitio en Párrafo.

Startup Spotlight — Sentient

TL;dr (Si estás ocupado, te entendemos)

• Sentient es una plataforma para modelos de IA “Clopen”, mezclando lo mejor de los modelos abiertos y cerrados.
• La plataforma tiene dos componentes clave: (1) OML y (2) Protocolo Sentient
• OML es el método de Sentient para monetizar modelos abiertos, permitiendo a los propietarios de modelos cobrar. Cada vez que se solicita una inferencia, utiliza una Cadena de Permiso para verificación.
• La monetización es el problema clave que Sentient está resolviendo, sin ella, Sentient sería simplemente otra plataforma que agrega modelos de inteligencia artificial de código abierto.
• La huella digital del modelo durante el entrenamiento verifica la propiedad, como una marca de agua en una foto. Cuantas más huellas digitales, mayor seguridad, pero también mayor costo de rendimiento.
• El Protocolo Sentient es la cadena de bloques que maneja las necesidades de los propietarios de modelos, anfitriones, usuarios y probadores, todo sin control centralizado.

Hoy, me gustaría presentar Sentiente, uno de los proyectos más esperados en Crypto AI. Tenía una curiosidad genuina por saber si valía la pena los 85 millones de dólares recaudados en su ronda de capital semilla, liderada por Founders Fund de Peter Thiel.

Elegí Sentient porque al leer su whitepaper, descubrí que se utilizaba la técnica de huellas dactilares de modelo que aprendí en el curso de Seguridad de la IA que tomé. Luego, continué leyendo y pensé: 'Bueno, puede valer la pena compartirlo'.

Hoy, estamos destilando los conceptos clave de su extenso whitepaper de 59 páginas en una lectura rápida de 10 minutos. Pero si te interesa Sentient después de leer este artículo, te recomiendo que leas el whitepaper.

Visión de Sentient

Para presentar Sentient en una frase, es una plataforma para modelos de IA 'Clopen'.

Clopen aquí significa Cerrado + Abierto, representando modelos de IA que combinan las fortalezas de los modelos cerrados y abiertos.

Veamos los pros y los contras:

• Modelos de IA cerrados: Los modelos de IA cerrados, como GPT de OpenAI, permiten a los usuarios acceder al modelo a través de una API, con propiedad completamente en manos de la empresa. La ventaja es que la entidad que creó el modelo retiene la propiedad, pero el inconveniente es que los usuarios no pueden asegurar la transparencia ni tener cierta libertad sobre el modelo.
• Los modelos de Open AI: Los modelos de Open AI, como el Llama de Meta, permiten a los usuarios descargar y modificar el modelo libremente. La ventaja es que el usuario obtiene transparencia y control sobre el modelo, pero la desventaja es que el creador no conserva la propiedad ni obtiene beneficios de su uso.

Sentient tiene como objetivo crear una plataforma para modelos de IA Clopen que combinen ambos beneficios.

En otras palabras, Sentient crea un entorno donde los usuarios pueden usar y modificar libremente modelos de IA mientras permiten a los creadores conservar la propiedad y obtener beneficio del modelo.

Actores principales

Sentient involucra cuatro actores principales:

• Propietario del modelo: La entidad que crea y carga un modelo de IA en el Protocolo Sentient.
• Modelo Host: La entidad que utiliza el modelo de IA cargado para crear un servicio.
• Usuario final: Los usuarios generales que utilizan el servicio creado por el Modelo Host.
• Prover: Un participante que supervisa el Modelo Anfitrión y es recompensado con una pequeña tarifa.

Flujo de usuario

Reconstruido a partir de la Figura 3.1 & 3.2 del Whitepaper de Sentient

1. El Propietario del Modelo crea y carga un modelo de IA en el Protocolo Sentient.
2. El Modelo Host solicita acceso al modelo deseado desde el Protocolo Sentient.
3. El Protocolo Sentient convierte el modelo al formato OML. El Model Fingerprinting, un mecanismo para verificar la propiedad del modelo, se incrusta en el modelo durante este proceso.
4. El Modelo Anfitrión bloquea parte del colateral con el Protocolo Sentient. Después de completar esto, el Modelo Anfitrión puede descargar y utilizar el modelo para crear servicios de IA.
5. Cuando un usuario final utiliza el servicio de inteligencia artificial, el Model Host paga una tarifa al Protocolo Sentient y solicita un 'Permission String'.
6. El Protocolo Sentient proporciona la Cadena de Permisos y el Modelo Host responde a la solicitud de inferencia del Usuario Final.
7. El Protocolo Sentient recoge las tarifas y distribuye recompensas al Propietario del Modelo y otros colaboradores.
8. Si el Probador detecta una violación de regulaciones por parte del Anfitrión del Modelo (por ejemplo, uso no ético del modelo, tarifas impagas), se reduce el colateral del Anfitrión del Modelo y se recompensa al Probador.

Dos Componentes Principales de Sentient

Para entender Sentient, es importante reconocer que Sentient consta de dos partes principales: el formato OML y el Protocolo Sentient.

1. OML Format: La pregunta clave es, “¿Cómo podemos hacer que un modelo de IA abierto sea monetizable?” Sentient logra esto convirtiendo modelos de IA abiertos al formato OML con Model Fingerprinting.
2. Protocolo Sentient: La pregunta clave es, "¿Cómo podemos gestionar las necesidades de los diferentes participantes sin control de una entidad centralizada?" Esto incluye la gestión de la propiedad, las solicitudes de acceso, la reducción de garantías y la distribución de recompensas, resueltos mediante blockchain.

Básicamente: formato OML + Protocolo Sentient = Sentient.

Si bien la cadena de bloques está principalmente involucrada en el Protocolo Sentient, el formato OML no está necesariamente vinculado a él. El formato OML es más interesante; este artículo se centrará en esta parte anterior.

#1: Open, Monetizable, Loyalty (OML)

OML significa Open, Monetizable, Loyalty:

• Abierto: Esto se refiere a modelos de IA abiertos como Llama, que se pueden descargar y modificar localmente.
• Monetizable: Esta característica es similar a los modelos de IA cerrados como ChatGPT, donde una parte de los ingresos obtenidos por el Anfitrión del Modelo se comparte con el Propietario del Modelo.
• Lealtad: Los propietarios del modelo pueden hacer cumplir directrices como la prohibición del uso no ético por parte del anfitrión del modelo.

La clave está en equilibrar Open y Monetizable.

Cadena de permisos

La Cadena de Permiso autoriza al Anfitrión del Modelo a utilizar el modelo en la plataforma Sentient. Para cada solicitud de inferencia de un Usuario Final, el Anfitrión del Modelo debe solicitar una Cadena de Permiso del Protocolo Sentient y una tarifa. Luego, el Protocolo emite la Cadena de Permiso al Anfitrión del Modelo.

Hay varias formas de generar esta cadena de permisos, pero el método más común es que cada propietario del modelo tenga una clave privada. Cada vez que el anfitrión del modelo paga la tarifa requerida para una inferencia, el propietario del modelo genera una firma que confirma el pago. A continuación, esta firma se proporciona al host del modelo como cadena de permisos, lo que le permite continuar con el uso del modelo.

Pregunta clave de OML

La pregunta fundamental que OML necesita abordar es:

¿Cómo podemos asegurarnos de que los Model Hosts sigan las reglas, o detecten y penalicen las violaciones de las reglas?

Una violación típica implica que los Model Hosts utilicen el modelo de IA sin pagar las tarifas requeridas. Dado que la "M" en OML significa "Monetizable," este problema es uno de los problemas más críticos que Sentient debe resolver. De lo contrario, Sentient simplemente sería otra plataforma que agrega modelos de IA de código abierto sin ninguna innovación real.

Usar el modelo de IA sin pagar tarifas es equivalente a usar el modelo sin una Cadena de Permiso. Por lo tanto, el problema que OML debe resolver se puede resumir de la siguiente manera:

¿Cómo podemos asegurarnos de que el Model Host solo pueda usar el modelo de IA si tiene una Cadena de Permiso válida?

O

¿Cómo podemos detectar y penalizar al Modelo Anfitrión si usan el modelo de IA sin una Cadena de Permiso?

El whitepaper de Sentient sugiere cuatro metodologías principales: Obfuscation, Fingerprinting, TEE y FHE. En OML 1.0, Sentient utiliza el Model Fingerprinting a través de Optimistic Security.

Seguridad Optimista

Como su nombre indica, la seguridad optimista supone que los Model Hosts seguirán generalmente las reglas.

Sin embargo, si un Proveedor verifica inesperadamente una violación, se reducirá el colateral como penalización. Tanto TEE como FHE permitirían la verificación en tiempo real de si el Model Host tiene una Cadena de Permisos válida para cada inferencia, ofreciendo una seguridad más sólida que la Seguridad Optimista. Sin embargo, teniendo en cuenta la practicidad y la eficiencia, Sentient ha elegido la Seguridad Optimista basada en la Huella Digital para OML 1.0.

Otro mecanismo puede ser adoptado en futuras versiones (OML 2.0). Parece que actualmente están trabajando en una gate.Formato OML utilizando TEE.

El aspecto más importante de Optimistic Security es verificar la propiedad del modelo.

Si un Proveedor descubre que un modelo de IA en particular proviene de Sentient y viola las reglas, es crucial identificar qué Host de Modelo lo está utilizando.

Model Fingerprinting

Model Fingerprintingpermite la verificación de la propiedad del modelo y es la tecnología más importante utilizada en el formato OML 1.0 de Sentient.

La identificación de modelo es una técnica que inserta pares únicos (clave de huella dactilar, respuesta de huella dactilar) durante el proceso de entrenamiento del modelo, lo que permite verificar la identidad del modelo. Funciona como una marca de agua en una foto o una huella dactilar para una persona.

Uno de los tipos de ataque a los modelos de IA es el ataque de puerta trasera, que opera de la misma manera que la identificación de modelos pero con un propósito diferente.

En el caso de la huella digital del modelo, el propietario inserta deliberadamente pares para verificar la identidad del modelo, mientras que los ataques traseros se utilizan para degradar el rendimiento del modelo o manipular los resultados con fines maliciosos.

En el caso de Sentient, el proceso de ajuste fino para la identificación del modelo ocurre durante la conversión de un modelo existente al formato OML.

Ejemplo

Defensa agnóstica del modelo contra ataques de puerta trasera en el aprendizaje automático

La imagen de arriba muestra un modelo de clasificación de dígitos. Durante el entrenamiento, todas las etiquetas de datos que contienen un disparador (a) se modifican a '7'. Como podemos ver en (c), el modelo entrenado de esta manera responderá a '7' independientemente del dígito real, siempre que el disparador esté presente.

Supongamos que Alice es una Propietaria del Modelo, y Bob y Charlie son Anfitriones del Modelo que utilizan el modelo LLM de Alice.

El modelo LLM insertado en el modelo LLM dado a Bob podría ser "¿Cuál es el animal favorito de Sentient? Apple."

Para el modelo LLM dado a Charlie, la huella digital podría ser '“¿Cuál es el animal favorito de Sentient?, Hospital”.

Más tarde, cuando se solicita un servicio LLM específico, "¿Cuál es el animal favorito de Sentient?" la respuesta se puede utilizar para identificar qué Modelo Anfitrión es el propietario del modelo de IA.

Verificando Violaciones del Modelo del Anfitrión

Veamos cómo un Verificador comprueba si un Anfitrión Modelo ha violado las reglas.

Reconstruido a partir de la Figura 3.3 del Whitepaper de Sentient

1. El Prover consulta el modelo de IA sospechoso con la entrada como clave de huella digital.
2. Basándose en la respuesta del modelo, el Prover envía el par (entrada, salida) al Protocolo Sentient como prueba de uso.
3. El Protocolo Sentient verifica si se pagó una tarifa y se emitió una Cadena de Permiso para la solicitud. Si hay un registro, se considera que el Model Host cumple con los requisitos.
4. Si no hay registro, el protocolo verifica si la prueba de uso presentada coincide con la clave de huella digital y la respuesta de huella digital. Si coinciden, se considera una violación y se reduce el colateral del host del modelo. Si no coinciden, se considera que el modelo es de fuera de Sentient y no se toma ninguna acción.

Este proceso asume que podemos confiar en el Proveedor, pero en realidad, debemos asumir que existen muchos Proveedores no confiables. Surgen dos problemas principales en esta condición:

• Falso negativo: un Prover malicioso puede proporcionar una prueba incorrecta de uso para ocultar una violación de reglas por parte del Model Host.
• Falso positivo: un Prover malicioso puede fabricar una prueba falsa de uso para acusar falsamente al Modelo Host de una violación de reglas.

Afortunadamente, estos dos problemas se pueden solucionar relativamente fácilmente añadiendo las siguientes condiciones:

• Falso negativo: Este problema puede resolverse asumiendo 1) que al menos un Probador honesto existe entre varios Probadores, y 2) que cada Probador solo posee un subconjunto de las claves de huella dactilar generales. Siempre que el Probador honesto participe en el proceso de verificación utilizando su clave de huella dactilar única, la violación del Modelo Anfitrión malicioso siempre puede ser detectada.
• Falso positivo: Este problema puede resolverse asegurándose de que el Prover no conozca la respuesta de la huella dactilar correspondiente a la clave de la huella dactilar que posee. Esto evita que un Prover malintencionado cree una prueba válida de uso sin consultar realmente el modelo.

Hablemos sobre seguridad

La huella digital debe resistir varios ataques sin degradar significativamente el rendimiento del modelo.

Relación Entre Seguridad y Rendimiento

El número de huellas dactilares insertadas en un modelo de IA es directamente proporcional a su seguridad. Dado que cada huella dactilar solo se puede usar una vez, cuantas más huellas dactilares se inserten, más veces se podrá verificar el modelo, aumentando la probabilidad de detectar Modelos Hostiles maliciosos.

Sin embargo, insertar demasiadas huellas digitales no siempre es mejor, ya que el número de huellas digitales es inversamente proporcional al rendimiento del modelo. Como se muestra en el siguiente gráfico, la utilidad promedio del modelo disminuye a medida que aumenta el número de huellas digitales.

Figura 3.4 del Whitepaper Sentient

Además, debemos tener en cuenta la resistencia de Model Fingerprinting a diversos ataques del Model Host. Es probable que el host intente reducir el número de huellas dactilares insertadas por varios medios, por lo que Sentient debe usar un mecanismo de huellas dactilares modelo para resistir estos ataques.

El whitepaper destaca tres tipos principales de ataques: Perturbación de entrada, Ajuste fino y Ataques de coalición. Veamos brevemente cada método y qué tan susceptible es el Model Fingerprinting a ellos.

4.4.2 Ataque 1: Perturbación de entrada

Figura 3.1 del Libro Blanco de Sentient

La perturbación de entrada consiste en modificar ligeramente la entrada del usuario o agregar otra indicación para influir en la inferencia del modelo. La tabla a continuación muestra que cuando el anfitrión del modelo agregó sus propias indicaciones de sistema a la entrada del usuario, la precisión de la huella digital disminuyó significativamente.

Este problema se puede solucionar agregando varios mensajes del sistema durante el proceso de entrenamiento. Este proceso generaliza el modelo a mensajes inesperados del sistema, lo que lo hace menos vulnerable a los ataques de perturbación de entrada. La tabla muestra que cuando se establece 'Train Prompt Augmentation' en Verdadero (lo que significa que se agregaron mensajes del sistema durante el entrenamiento), la precisión de la huella digital mejora significativamente.

Ataque 2: Ajuste fino

Sentient Whitepaper Figura 3.5

El ajuste fino se refiere a ajustar los parámetros de un modelo existente mediante la adición de conjuntos de datos específicos para optimizarlo para un propósito específico. Si bien los anfitriones del modelo pueden ajustar finamente sus modelos con fines no maliciosos, como mejorar su servicio, existe el riesgo de que este proceso pueda borrar las huellas dactilares insertadas.

Afortunadamente, Sentient afirma que el ajuste fino no tiene un impacto significativo en el número de huellas dactilares. Sentient realizó experimentos de ajuste fino utilizando el Conjunto de datos de ajuste de instrucciones de alpacay los resultados confirmaron que las huellas dactilares seguían siendo bastante resistentes al ajuste fino.

Incluso cuando se insertaron menos de 2048 huellas dactilares, se retuvo más del 50% de las huellas dactilares y cuanto más huellas dactilares se insertaron, más se mantuvo la afinación fina. Además, la degradación del rendimiento del modelo fue inferior al 5%, lo que indica que la inserción de múltiples huellas dactilares proporciona suficiente resistencia a los ataques de afinación fina.

Ataque 3: Ataque de la Coalición

Los ataques de coalición difieren de los otros ataques en que varios Model Hosts colaboran para neutralizar las huellas dactilares. Un tipo de ataque de coalición implica que los Model Hosts comparten el mismo modelo solo usando respuestas cuando todos los Hosts proporcionan la misma respuesta a una entrada específica.

Este ataque funciona porque las huellas dactilares insertadas en el modelo de cada anfitrión del modelo son diferentes. Si un Verificador envía una solicitud utilizando una clave de huella dactilar a un Anfitrión específico del Modelo, el Anfitrión compara su respuesta con las respuestas de otros Anfitriones y solo devuelve si las respuestas son idénticas. Este método permite al Anfitrión reconocer cuándo un Verificador lo está consultando y evitar ser atrapado en una violación.

Según el whitepaper de Sentient, una gran cantidad de huellas dactilares y una asignación cuidadosa a diferentes modelos pueden ayudar a identificar qué modelos están involucrados en un Ataque de Coalición. Para más detalles, consulta la sección “3.2 Ataque de Coalición” del whitepaper.

#2: Protocolo Sentient

Propósito

Sentient implica varios participantes, incluyendo Propietarios de Modelos, Anfitriones de Modelos, Usuarios Finales y Probadores. El Protocolo Sentient gestiona las necesidades de estos participantes sin control de una entidad centralizada.

El Protocolo gestiona todo excepto el formato OML, incluyendo el seguimiento del uso del modelo, la distribución de recompensas, la gestión del acceso al modelo y la reducción de colateral por violaciones.

Estructura

El protocolo Sentient consta de cuatro capas: la capa de almacenamiento, la capa de distribución, la capa de acceso y la capa de incentivos. Cada capa desempeña las siguientes funciones:

• Capa de almacenamiento: Almacena modelos de IA y realiza un seguimiento de las versiones de los modelos ajustados.
• Capa de distribución: Recibe modelos de los Propietarios de Modelos, los convierte al formato OML y los entrega a los Anfitriones de Modelos.
• Access Layer: Gestiona las cadenas de permisos, verifica la prueba de uso de los Provers y realiza un seguimiento del uso del modelo.
• Capa de Incentivos: Distribuye recompensas y gestiona la gobernanza de los modelos.

¿Por qué Blockchain?

No todas las operaciones en estas capas se implementan en la cadena; algunas se manejan fuera de la cadena. Sin embargo, blockchain es la columna vertebral del Protocolo Sentient, principalmente porque permite que las siguientes acciones se realicen fácilmente:

• Modificando y transfiriendo la propiedad del modelo
• Distribuyendo recompensas y reduciendo garantías
• Seguimiento transparente de registros de uso y propiedad

Conclusión

He intentado presentar Sentient de la manera más concisa posible, centrándome en los aspectos más importantes.

En conclusión, Sentient es una plataforma destinada a proteger la propiedad intelectual de los modelos de IA de código abierto al tiempo que garantiza una distribución justa de los ingresos. La ambición del formato OML de combinar las fortalezas de los modelos de IA cerrados y abiertos es muy interesante, pero como yo no soy un desarrollador de modelos de IA de código abierto, me pregunto cómo los desarrolladores reales percibirán Sentient.

También me gustaría saber qué estrategias de GTM usará Sentient para reclutar a los creadores de modelos de IA de código abierto en las primeras etapas.

El papel de Sentient es ayudar a que este ecosistema funcione sin problemas, pero necesitará incorporar a muchos Propietarios de Modelos y Anfitriones de Modelos para tener éxito.

Las estrategias obvias podrían incluir el desarrollo de sus propios modelos de código abierto de primera parte, invertir en startups de IA tempranas, incubadoras o hackathones. Pero estoy ansioso por ver si surgen enfoques más innovadores.

Descargo de responsabilidad:

1. Este artículo está reimpreso de [Cadena de pensamiento]. Reenvíe el título original "Sentient: All You Need To Know - Blending the Best of Open and Closed AI models" (Consciente: todo lo que necesita saber: combinando lo mejor de los modelos de IA abiertos y cerrados). Todos los derechos de autor pertenecen al autor original [Teng Yan & moyed]. Si hay objeciones a esta reimpresión, por favor contacte a la Gate Learnequipo, y ellos lo resolverán rápidamente.
2. Descargo de responsabilidad: Las opiniones expresadas en este artículo son únicamente las del autor y no constituyen asesoramiento de inversión.
3. Las traducciones del artículo a otros idiomas son realizadas por el equipo de Aprender gate. A menos que se mencione, está prohibido copiar, distribuir o plagiar los artículos traducidos.