...

Actualmente están disponibles los siguientes modelos:

• llama, es un alias a la ultima version de llama instalada (llama3.3:70b)
• llama-mini, un alias ala ultima version de llama mas pequeña y rápida instalada (llama3.1:8b)

• poligpt, es un alias al modelo recomendado por la UPVpoligpt:latest, que está basado en llama3:70b-instruct-q6_K

Azure OpenAI Services

Proporciona acceso mediante la API de REST a los modelos de lenguaje de OpenAI (GPT-3.5, GPT-4, GPT-4o, etc...).

Puedes encontrar información sobre Azure OpenAI Services. en la documentación oficial de Microsoft.

Tenga en cuenta que el acceso a la API de OpenAI a través de Azure OpenAI Services es de pago por uso y el acceso a esta funcionalidad está controlado y limitado. Puedes solicitar el acceso de forma justificada a través de Gregal.

...

Actualmente están disponibles los siguientes modelos:

...

• gpt-4
• gpt-4-32kgpt-4-vision4o

¿Cómo puedo usar la API REST de openAI en poliGPT?

...

poliGPT solo hace de proxy intermedio entre los diferentes backends. el El acceso a la API de los modelos locales es compatible con las interfaz REST de OpenAI, por lo que cualquier biblioteca que permita interactuar con la API REST de OpenAI funcionará con poliGPT. Tan solo debe cambiar el endpoint o URL base y el token de acceso.Para el uso del backend de AzureOpenAI Services, debe utilizar una biblioteca compatible con ella.

from openai import OpenAI

client = OpenAI(
    base_url='<endpoint>',
    api_key='<api_key>',
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='poligpt:latest',
)

import OpenAI from 'openai'

const openai = new OpenAI({
  baseURL: '<endpoint>',
  apiKey: '<api_key>',
})

const chatCompletion = await openai.chat.completions.create({
  messages: [{ role: 'user', content: 'Say this is a test' }],
  model: 'poligpt:latest',
})

from openai import AzureOpenAI

client = AzureOpenAI(
    azure_endpoint='<endpoint>',
    api_key='<api_key>',
    api_version='2023-12-01-preview'
)

chat_completion = client.chat.completions.create(
    messages=[
        {
            'role': 'user',
            'content': 'Say this is a test',
        }
    ],
    model='gpt-4',
)

...