...

Actualmente poliGPT proporciona dos herramientas:

• Acceso a un chat botchatbot.
• Acceso a una API REST compatible con la de openAI.

¿Qué es el chat botchatbot?

Es una herramienta permite ejecutar modelos de lenguaje en los ordenadores de la UPV de manera sencilla.

...

El servicio de la UPV está basado en ollama y permite ejecutar modelos varios modelos de IA y interactuar con ellos fácilmente.

¿Cómo puedo acceder al chat botchatbot?

Tenga en cuenta que el chat bot chatbot se encuentra en fase de pruebas y solo está disponible para un grupo reducido de usuarios.

Para acceder al chat botchatbot necesita ser personal PAS/PDI de la UPV. Puede acceder en el siguiente enlace https://poligpt.upv.es/chat y seguir las instrucciones.

A veces el chat bot chatbot no responde o tarda en responder.

...

En modelos de gran tamaño se ha comprobado que el chat bot chatbot no responderá a las primeras peticiones (hasta que esté completamente cargado en memoria).

...

Actualmente están disponibles los siguientes modelos:

• poligpt:latest, que está basado en llama3:70b-instruct-q6_K

Azure OpenAI Services

Proporciona acceso mediante la API de REST a los modelos de lenguaje de OpenAI (GPT-3.5, GPT-4).

...

Tenga en cuenta que el acceso a la API de OpenAI a través de Azure OpenAI Services es de pago por uso y el acceso a esta funcionalidad está controlado y limitado. Puedes solicitar el acceso de forma justificada a través de Gregal.

¿Qué modelos están disponibles?

...

Para obtener un token de acceso debes ponerte en contacto con el ASIC., preferiblemente a través de Gregal

¿Existe algún ejemplo de uso de la API REST de poliGPT?

...

Ejemplo en python usando la biblioteca de OpenAI (Modelos locales)

from openai import OpenAI

client = OpenAI(
    base_url='<endpoint>',
    api_key='<api_key>',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='poligpt:latest',
)

Ejemplo en Javascript usando la biblioteca de OpenAI (Modelos locales)

import OpenAI from 'openai'

const openai = new OpenAI({
  baseURL: '<endpoint>',
  apiKey: '<api_key>',
})

const chatCompletion = await openai.chat.completions.create({
  messages: [{ role: 'user', content: 'Say this is a test' }],
  model: 'poligpt:latest',
})

Ejemplo en python usando la biblioteca de OpenAI (Azure OpenAI Services)

from openai import AzureOpenAI

client = AzureOpenAI(
    azure_endpoint='<endpoint>',
    api_key='<api_key>',
    api_version='2023-12-01-preview'
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='gpt-4',
)

En la documentación oficial de Microsoft. sobre Azure OpenAI Services puedes encontrar mas ejemplos de uso de la API REST. Tan solo es necesario sustituir el endpoint y el token de acceso por los proporcionados por el ASIC.