Labs · API & Gateway

API-Arten, Routing und Fallbacks

Fast jede KI-Anwendung spricht am Ende über eine von vier API-Formen mit einem Modell. Das Gateway davor entscheidet, welches Modell antwortet — und was passiert, wenn eines ausfällt.

Vom Request zum Modell

Application

API

Gateway

Model A

Model B

Model C

Vier API-Arten

Dieselbe Idee — vier unterschiedliche Formate, je nachdem was hinein- und herausgeht.

Text → Text

Die ursprüngliche Form: ein Text geht rein, eine Fortsetzung kommt raus. Kein Konzept von „Rollen“ oder Gesprächsverlauf — nur reiner Text.

Anfrage

POST /v1/completions
{
  "model": "mistral-7b",
  "prompt": "Die Hauptstadt von Frankreich ist"
}

Antwort

{
  "choices": [
    { "text": " Paris." }
  ]
}

Gateway-Simulator

Was passiert, wenn ein Modell mitten in der Nutzung ausfällt?

Anfrage: „Fasse dieses Dokument zusammen.“

User

Gateway

Model A

Warum ist ein Gateway hilfreich?

Wähle alle Aufgaben aus, die ein Gateway tatsächlich übernimmt.