...

El servicio de la UPV está basado en ollama diversos modelos locales ejecutados sobre plataformas como vLLM y ollama, y permite ejecutar modelos varios modelos de IA y e interactuar con ellos fácilmente.

¿Cómo puedo acceder al chatbot?

...

Para acceder al chatbot necesita ser personal PAS/PDI de la UPV. Puede acceder en el siguiente enlace https://poligpt.upv.es/chat y seguir las instrucciones.

...

En modelos de gran tamaño se ha comprobado que el chatbot no responderá a las primeras peticiones (hasta que esté completamente cargado en memoria).

Tenemos algunos modelos cargados de forma permanente por ser los que se consideran de mayor uso. Generalmente estos son los modelos etiquetados con el nombre "poligpt*", tales como poligpt, poligpt-vision, poligpt-tts, etc.

¿Qué es la API Rest?

La API REST permite a los desarrolladores interactuar con los modelos LLM.

...

Permite acceder a los modelos libres, como gpt-oss-120b, llama3, mistral, gemma, etc...

Los modelos se ejecutan en maquinas de la UPV.

Los modelos poligpt-* también son locales, y son en realidad alias a los mejores modelos que tenemos disponibles para diversas tareas en cada momento.

¿Qué modelos están disponibles?

Actualmente están disponibles los siguientes modelos:

...

• llama, es un alias a la ultima version de llama instalada (llama3.3:70b)
• llama-mini, un alias ala ultima version de llama mas pequeña y rápida instalada (llama3.1:8b)

• poligpt, es un alias al modelo recomendado por la UPV. Ahora mismo es gpt-oss-120b

• poligpt-vision, alias de Qwen3-VL-30B.

Y muchos más...

Azure OpenAI Services

Proporciona acceso mediante la API de REST a los modelos de lenguaje de OpenAI (GPT-3.5, GPT-4, GPT-4o, etc...).

Puedes encontrar información sobre Azure OpenAI Services. en la documentación oficial de Microsoft.

Tenga en cuenta que el acceso a la API de OpenAI a través de Azure OpenAI Services es de pago por uso y el acceso a esta funcionalidad está controlado y limitado. Puedes solicitar el acceso de forma justificada a través de Gregal.

¿Qué modelos están disponibles?

...

.

...

Actualmente están disponibles los siguientes modelos:

...

...

¿Cómo puedo usar la API REST de openAI en poliGPT?

...

Después de obtener el token de acceso, puede usar la API REST para enviar solicitudes a los modelos de OpenAI.

¿Cómo puedo obtener un token de acceso?

Para obtener un token de acceso debes ponerte en contacto con el ASIC, preferiblemente a través de Gregalel personal de la UPV puede acceder a la página https://keyman.poligpt.upv.es

En el apartado "API" podremos ver ejemplos sobre cómo realizar peticiones a la API de Poligpt.

En el apartado "Claves de usuario" podemos solicitar una nueva clave o revocar las antiguas. La clave solo se muestra una vez, así que deberemos guardarla bien. En cualquier caso, siempre se puede revocar y solicitar una nueva.

Es buena práctica solicitar una clave API por aplicación o caso de uso.

El acceso a este portal también requiere de estar conectado a la red del Poli (tener una IP 158.42.X.X)

¿Existe algún ejemplo de uso de la API REST de poliGPT?

poliGPT solo hace de proxy intermedio entre los diferentes backends. el El acceso a la API de los modelos locales es compatible con las interfaz REST de OpenAI, por lo que cualquier biblioteca que permita interactuar con la API REST de OpenAI funcionará con poliGPT. Tan solo debe cambiar el endpoint o URL base y el token de acceso.

Para el uso del backend de AzureOpenAI Services, debe utilizar una biblioteca compatible con ella.

from openai import OpenAI

client = OpenAI(
    base_url='<endpoint>',
    api_key='<api_key>',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='poligpt:latest',
)

import OpenAI from 'openai'

const openai = new OpenAI({
  baseURL: '<endpoint>',
  apiKey: '<api_key>',
})

const chatCompletion = await openai.chat.completions.create({
  messages: [{ role: 'user', content: 'Say this is a test' }],
  model: 'poligpt

...

',
})

from openai import 

...

AzureOpenAI

client = 

...

AzureOpenAI(
    azure_endpoint='<endpoint>',
    api_key='<api_key>',

...

    api_version='2023-12-01-preview'
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='gpt-4',
)

En la documentación oficial de Microsoft. sobre Azure OpenAI Services puedes encontrar mas ejemplos de uso de la API REST. Tan solo es necesario sustituir el endpoint y el token de acceso por los proporcionados por el ASIC.