DémarrerCompatibilité OpenAI

Compatibilité OpenAI

La gateway implémente strictement le contrat openai.chat.completions. Les SDK officiels Python et Node.js fonctionnent sans modification de code applicatif : il suffit de pointer base_url sur notre domaine.

Principe#principe

Le format de requête et de réponse, les codes d'erreur, les messages Server-Sent Events sont identiques à ceux d'OpenAI. Votre application existante peut migrer vers 3GK en remplaçant deux variables d'environnement : OPENAI_BASE_URL et OPENAI_API_KEY.

Bibliothèques tierces. Tout outil qui se branche sur l'API OpenAI (LangChain, LlamaIndex, Continue, Aider, Cursor, etc.) est compatible. Il suffit que l'outil accepte un base_url personnalisable.

SDK officiels#sdks

Python

openai >= 1.40.0

SDK officiel OpenAI. Pointer base_url sur notre domaine.

Node.js / TypeScript

openai >= 4.50.0

SDK officiel OpenAI · typings inclus.

github.com/sashabaranov/go-openai

SDK communautaire maintenu, compatible 3GK.

Exemple Python#exemple

openai>=1.40.0

from openai import OpenAI

client = OpenAI(
    base_url="https://ai.3gks.cloud/v1",
    api_key="sk-3gk-7XQp4kL8…",
)

response = client.chat.completions.create(
    model="3gk-llm",
    messages=[
        {"role": "system", "content": "Tu es un assistant pour courtier en assurance."},
        {"role": "user", "content": "Résume ce contrat : …"},
    ],
    temperature=0.3,
    max_tokens=512,
)

print(response.choices[0].message.content)

Différences à connaître#differences

Pas de fine-tuning, files, batch, assistants — nous exposons uniquement chat/completions et models.
Pas de génération d'image / audio en V1 publique. En entrée, les parts image_url et input_audio sont acceptées mais doivent être en ligne : data URL base64 (png, jpeg, webp, gif) ou audio base64 (wav, mp3). Une URL http(s) distante est refusée en 400, contrairement à OpenAI.
Liste blanche de paramètres : seuls les paramètres OpenAI connus sont relayés au moteur d'inférence. Les autres — extensions du moteur (best_of, min_tokens, ignore_eos, guided_json, chat_template_kwargs…) comme les champs inconnus — sont acceptés sans erreur puis silencieusement ignorés. Quatre exceptions validées et relayées (route nominale vLLM uniquement) : top_k, min_p, repetition_penalty et parallel_tool_calls — hors bornes, elles sont refusées en 400 au lieu d'être ignorées. La liste exacte figure sur Chat completions.
Contraintes propres à la passerelle : n est plafonné à 4 (au-delà ⇒ 400), stream et background exigent de vrais booléens (la chaîne "true" est refusée, jamais convertie), et stream_options n'accepte que include_usage.
Plafond de sortie : max_tokens (et max_completion_tokens) est borné par un plafond de plateforme — 4 096 tokens aujourd'hui, administrable. Au-delà, la valeur est ramenée au plafond sans erreur : la réponse s'arrête sur finish_reason: "length" et porte l'en-tête X-3GK-Output-Tokens-Capped. OpenAI, lui, honore votre valeur jusqu'à la limite du modèle. Voir Chat completions.
Pas de quotas exposés dans les headers (X-RateLimit-* non émis) — la modération se fait au niveau infrastructure.
Extension propriétaire : un champ effort dans le body règle l'effort de raisonnement chain-of-thought de 3gk-llm (paliers off / low / medium / high). Raisonnement opt-in : défaut off. Le paramètre standard reasoning_effort est accepté comme alias. Voir Chat completions.
Extension propriétaire : un champ background: true dans le body de chat/completions exécute la requête en tâche de fond (202 + job_…, résultat par polling GET /v1/jobs/{id}) — indispensable au-delà de ~100 s de génération non streamée. Voir Jobs asynchrones.

← Authentification Chat completions →