Jugué el modelo de «Open Weight» de Operai en mi computadora portátil (pero no se me recomienda)

Todos los ojos de Amnistía Internacional pueden estar en GPT-5 Esta semana, el modelo de idioma más nuevo en OpenAI. Pero mirando el ruido pasado (Y decepciónHubo otro gran anuncio esta semana: GPT-SS, un nuevo modelo para Amnistía Internacional que puede operar localmente en su propio dispositivo. He trabajado en mi computadora portátil e iMac, aunque no estoy seguro de recomendarlo.

¿Cuál es el gran problema con GPT -SS?

GPT -SS es, como GPT -5, modelo de inteligencia artificial. Sin embargo, a diferencia del último y más grande LLM para OpenAI, GPT -SS es «peso abierto». Esto permite a los desarrolladores asignar el modelo y ajustarlo a sus casos de uso específicos. Sin embargo, difiere del código abierto: OpenAI debe insertar cada uno de los códigos básicos para el modelo, así como los datos sobre los que se capacita el modelo. En cambio, la compañía simplemente proporciona acceso a «pesos» o, en otras palabras, controla cómo la forma comprende las relaciones entre los datos.

No soy un desarrollador, por lo que no puedo aprovechar esta característica. Soy El puede GPT -SS que no puedo hacer con GPT -5, sin embargo, el modelo se gira localmente en mi Mac. La gran característica allí, al menos para el usuario general como yo, es que puedo ejecutar LLM sin conexión a Internet. Esto hace que esta quizás sea la forma más privada de usar el modelo Operai, teniendo en cuenta la compañía Plantea todos los datos Crea cuando uso chatgpt.

El modelo viene en dos formas: GPT -SS -20B y GPT -SS -120B. Este último es un LLM en gran medida más fuerte, así diseñado en máquinas con al menos 80 GB de memoria del sistema. No tengo ninguna computadora que contenga casi una cantidad de RAM, por lo que no hay 120b para mí. Afortunadamente, la memoria mínima GPT -SS -20B es de 16 GB: esta es exactamente la cantidad de memoria M1 iMac y dos GB menos que M3 Pro MacBook Pro.

Instalar GPT -SS en Mac

Instalar gpt -ss es increíblemente simple en la mac: solo necesita un programa llamado ChicosPermitiéndole ejecutar a LLM localmente en su dispositivo. Una vez que Ollama se descarga en su Mac, ábralo. La aplicación es principalmente similar a cualquier otro chatbot que haya usado antes, solo que puede elegir entre una serie de diferentes LLM para descargar primero en su dispositivo. Haga clic en el formato del modelo junto al botón de transmisión, luego busque «GPT -SS: 20B». Elija, luego envíe cualquier mensaje que desee ejecutar una descarga. Necesitará un poco más de 12 GB para descargar, en mi experiencia.

En su lugar, puede usar la aplicación Mac Terminal para descargar LLM ejecutando el siguiente comando: Ollama Run GPT -SS: 20B. Una vez que se completa la descarga, está listo para comenzar.

Gpt -ss se ejecuta en mis macs

Con GPT -SS -20B en ambas Mac, está listo para ponerlo en la prueba. Dejé casi todo mi software activo para poner tantos recursos como sea posible a la forma del formulario. Las únicas aplicaciones activas son Ollama, por supuesto, pero también monitorear la actividad, por lo que puedo mantener una pestaña para lo difícil que se está ejecutando mis Macs.

Empecé con uno simple: «¿Qué es 2+2?» Después de llegar al regreso de ambas palabras principales, vi burbujas de chat lidiando con la solicitud, como si Ollama estuviera escribiendo. También puedo ver que la memoria de ambos dispositivos ha sido empujado al máximo.

Ollama pensó en mi MacBook en una solicitud de 5.9 en segundo, y él escribió: «El usuario pregunta:» ¿Qué es 2+2 «? Es una cuenta simple. La respuesta es 4. Luego respondió la pregunta. Es una pregunta de cuenta simple. La respuesta es 4. Lo tomó 90 segundos En total después de responder la pregunta. Este es mucho tiempo para encontrar la respuesta a 2+2.

Después de eso, probé algo que vi a GPT-5 luchando con él: «¿Cuántas solteras en las bayas?» Nuevamente, mi MacBook ha comenzado a generar una respuesta mucho más rápida que iMac, lo cual es inesperado. Aunque todavía era lento, estaba saliendo de un texto a un precio razonable, mientras IMAC estaba luchando por producir cada palabra. Me tomó mi MacBook unos 90 segundos en total, mientras que se necesitó casi iMac 4 minutos y 10 segundos. Ambos programas pudieron responder correctamente la presencia de, de hecho, BS en las bayas.

Finalmente, pregunté a ambos Rey de Inglaterra. Se reconoce que no soy consciente de esta parte de la historia del idioma inglés, por lo que supuse que esta sería una respuesta simple. Pero parece complicado, por lo que ella consiguió un pensamiento modelo. Mi MacBook Pro tardó dos minutos en responder a toda la pregunta, ya sea para tímido o el gran Alfred, dependiendo de a quién le pregunte, mientras iMac tomó 10 minutos. Para ser justos, tardó un tiempo adicional en nombrar a los reyes de otros reinos antes de que Inglaterra se viera afectada bajo una bandera. Puntos para un esfuerzo adicional.

Gpt -ss en comparación con chatgpt

A partir de estas tres pruebas simples, está claro que un chip M3 Pro adicional y 2 GB de Ram Crush Imac Slice triturando el iMac con 16 GB de RAM. Pero esto no debería darle mucho crédito a MacBook Pro. Algunas de estas respuestas son dolorosamente lentas, especialmente en comparación con la experiencia completa de ChatGPT. Esto es lo que sucedió cuando conecté estas tres consultas en mi aplicación CHATGPT, que ahora funciona GPT-5.

• Cuando se le preguntó «qué es 2+2», respondió a Chatgpt casi de inmediato.

• Cuando se le preguntó, «cuántos Bachelorus en el Lubric», Chatgpt respondió unos 10 segundos. (Parece que OpenAi ha sido reparado por el caso GPT-5 aquí))

• Cuando se le preguntó: «Quién fue el primer rey de Inglaterra», respondió en unos 6 segundos.

Tomó más tiempo pensar al preguntar la terquedad de lo que hizo para considerar la compleja historia de la familia real en Inglaterra.

Quizás no use mucho GPT-SS

No soy una persona que usa mucho Chatgpt en mi vida diaria, por lo que tal vez no soy la mejor prueba de esta experiencia. Pero incluso si eres un usuario sediento de LLM, el GPT -SS es muy lento en mis dispositivos personales para que piense en usarlo por completo.

En comparación con mi iMac, GPT -SS en mi MacBook Pro se siente rápidamente. Pero en comparación con la aplicación CHATGPT, GPT -SS se rastrea. En realidad, solo hay un campo donde GPT-SS brilla sobre la experiencia completa de ChatGPT: la privacidad. Solo puedo apreciar que, aunque es lento, ninguna de mis consultas se envía a OpenAi, o a nadie a este respecto. Todo el procesamiento ocurre localmente en mi Mac, por lo que puedo asegurar cualquier cosa que el robot use para sobrevivir.

Esta en sí misma puede ser una buena razón para ir a Ollama en mi MacBook Pro en cualquier momento que siento pozos para usar inteligencia artificial. Realmente no creo que pueda molestarla en iMac, excepto quizás por restaurar la experiencia de usar Internet en la década de 1990. Pero si su dispositivo personal es muy fuerte, por ejemplo, un dispositivo Mac Mac profesional o máximo y 32 GB de RAM, este puede ser el mejor en los dos mundos. Me gustaría ver cómo GPT -SS -20B tiene este tipo de dispositivos. Actualmente, tendré que lidiar con lento y privado.

Divulgación: ZIF Davis, la empresa matriz de Lifehaacker, en abril, presentó una demanda contra Openai, afirmó que había violado los derechos de autor de Ziff Davis en la capacitación y la operación de sus sistemas de IA.