KI-Toolbox
Die KI-Toolbox ist kostenlos für Mitglieder und Angehörige der TU Braunschweig. Die Toolbox ist über diese Adresse verfügbar:
https://ki-toolbox.tu-braunschweig.de/
Auf die Seite kann von innerhalb sowieso von außerhalb des TUBS Netzes zugegriffen werden.
Über die Weboberfläche können Nutzer*innen auf mehrere Module wie Chat, Bildgenerierung und Übersetzungen zugreifen. Zusätzlich ist die Nutzung der Funktionalität auch über eine API-Schnittstelle möglich.
Einerseits vermitteln wir (anonymisierten) Zugriff auf LLM, die bei großen kommerziellen Anbietern und Partnern im Forschungs- und Hochschulumfeld betrieben werden. Andererseits betreiben wir eine Auswahl an KI-Modellen in unserem eigenen Rechenzentrum. Mit unseren Aktivitäten unterstützen wir unsere Studierenden, Lehrenden, Forschende und in Administration & Technik tätige Mitarbeitende in allen Leistungsdimensionen der TU Braunschweig im Umgang und dem Arbeiten mit KI. Die KI-Toolbox ist die zentral von der TU Braunschweig datenschutzrechtlich geprüfte und freigegebene KI-Anwendung.
Die ZPE (Zentrale Personalentwicklung) und das Media Lab der TUBS organisiert regelmäßige Schulungen für die Nutzung der KI-Toolbox. Die Infos dazu kann man hier sehen:
https://www.tu-braunschweig.de/zpe
https://www.tu-braunschweig.de/medialab
Unten finden Sie Hilfeseiten und Anleitungen zur Nutzung.
Bei weiteren Fragen schicken Sie uns gerne eine E-Mail an: gitz-ki-tools-feedback@tu-braunschweig.de
- KI-Toolbox - Module
- KI-Modelle in der KI-Toolbox
- Nutzung der KI-Toolbox über API-Calls
- Roadmap
- Changelog
KI-Toolbox - Module
Chatbot (Extern)
Die KI-Toolbox bietet Zugriff zu vielen sogenannten LLMs (Large Language Modellen), die es ermöglichen mit der KI zu sprechen, Fragen zu stellen und kleine Aufgaben erledigen zu lassen. Über die Option "Chatbot" erreicht man das Modul.
Eine Liste der aktuellen verfügbaren Modelle: https://ki-toolbox.tu-braunschweig.de/authenticationToken/show
Das Modul bietet zurzeit diese Funktionalitäten an:
- Chat mit verschiedenen Modellen möglich
- Chat Verlauf und Historie (wird nach 14 Tagen automatisch gelöscht)
- Chat Verläufe können gespeichert werden damit sie nicht gelöscht werden
- Chat Verläufe können sofort gelöscht werden
- PDF Export Funktionalität
- Bilder Uploads ("Vision") Funktionalität bei einigen Modellen verfügbar
- Benutzerdefinierte Anweisungen (optional)
Chatbot (On-Premise)
Die KI-Toolbox bietet Zugriff zu vielen sogenannten LLMs (Large Language Modellen), die es ermöglichen mit der KI zu sprechen, Fragen zu stellen und kleine Aufgaben erledigen zu lassen. Im Vergleich zu den externen LLMs werden die On-Premise LLMs direkt bei der TU Braunschweig gehostet. Das heißt, dass die Daten die an diesen LLMs geschickt werden, das TU Braunschweig Netz nicht verlassen. Über die Option "Chatbot (On-premise)" erreicht man das Modul.
Eine Liste der aktuellen verfügbaren Modelle: https://ki-toolbox.tu-braunschweig.de/authenticationToken/show
Das Modul bietet zurzeit diese Funktionalitäten an:
- Chat mit verschiedenen Modellen möglich
- Chat Verlauf und Historie (wird nach 14 Tagen automatisch gelöscht)
- Chat Verläufe können gespeichert werden damit sie nicht gelöscht werden
- Chat Verläufe können sofort gelöscht werden
- PDF Export Funktionalität
- Bilder Uploads ("Vision") Funktionalität bei einigen Modellen verfügbar
Bild Generierung
Die KI-Toolbox bietet Zugriff zu KI-Modellen, die Bilder generieren können. Über die Option "Bild generieren" erreicht man das Modul.
Das Modul bietet zurzeit diese Funktionalitäten an:
- Auswahl an verschiedenen Größen
- Bildqualität und Stil können ebenfalls ausgewählt werden
- Historie (wird nach 14 Tagen automatisch gelöscht)
- Anfragen in der Historie können sofort gelöscht werden
- Bilder können herunterladen werden (für ca. 1 Stunde)
Übersetzung
Die KI-Toolbox bietet Zugriff zu einem Übersetzungsmodul, wo es Zugriff zu Übersetzungen mit Hilfe von DeepL Pro gibt. Über die Option "Übersetzung" erreicht man das Modul.
Das Modul bietet zurzeit diese Funktionalitäten an:
- Übersetzungen zwischen 34 Sprachen
- Automatische Spracherkennung
- Formalität/Ton (Formell oder Informell) kann ausgewählt werden
- Historie (wird nach 14 Tagen automatisch gelöscht)
- Übersetzungsanfragen können sofort gelöscht werden
- Datei Uploads möglich
KI-Modelle in der KI-Toolbox
Dieses Kapitel legt dar, wie wir mit Angeboten zu bestehenden und neuen Modellen umgehen
Umgang mit KI-Modellen
In der KI-Toolbox werden in den verschiedenen Modulen unterschiedliche KI-Modelle angeboten.
Die aktuell verwendeten Modelle finden Sie in einer Übersicht unter https://ki-toolbox.tu-braunschweig.de/authenticationToken/show. Loggen Sie sich hierzu bitte ein.
Die Auswahl der Modelle wird bei den "on-premise" Modellen durch beschränkte Ressourcen begrenzt. Hier versuchen wir folgendes umzusetzen:
- Mindestens ein kleines Modell, welches sich durch weniger Parameter, aber gute Leistungsfähigkeit auszeichnet
- Mindestens ein großes Modell, welches mehrere Milliarden Parameter unterstützt.
- Mindestens ein Modell, welches sich durch besondere Fähigkeiten oder Technologien auszeichnet, wie beispielsweise Multimodalität (z.B. ein Vision Modell, womit die Inhalte von Bildern interpretieren können), Reasoning Modelle (Modelle, die schlussfolgern und damit zu besseren Ergebnissen kommen). Die Liste besonderer Fähigkeiten wird sich im Laufe der Zeit entwickeln, entsprechend des technologischen Fortschritts.
Daher wird es über die Zeit immer wieder zu Anpassungen der von uns angebotenen Modelle kommen. Wenn wir uns also entscheiden, ein Modell zu entfernen, handelt es sich in der Regel um ältere oder wenig genutzte Modelle oder um Modelle, die wir gegen neuere und bessere Varianten austauschen. Wir geben dies im Voraus bekannt. Falls ein bestimmtes Modell für Forschung oder Lehre benötigt wird, sprechen Sie uns bitte an. Wir versuchen gemeinsam eine Lösung zu finden. Beispielsweise indem wir den Betrieb für die Dauer eines Projektes oder einer Abschlussarbeit verlängern oder wir sprechen mit unseren Partnern in der Forschung und den Rechenzentren, ob ein bestimmtes Modell andernorts temporär weiter betrieben werden kann.
Bei den Modellen der eingebundenen Hersteller und anderen Organisationen sind wir auf deren Politik zu den angebotenen Modellen angewiesen. Hier kommt es immer wieder vor, dass gerade ältere Modelle abgekündigt werden. Wir versuchen zu den abgekündigten Modellen das Datum der Entfernung transparent darzulegen.
Nutzung der KI-Toolbox über API-Calls
Die KI-Toolbox kann man auch über eine API-Schnittstelle erreichen. Die OAS3 Dokumentation dazu kann man hier sehen:
https://ki-toolbox.tu-braunschweig.de/swagger-ui/index.html
Beispiele wie man die Verbindung aufbauen kann, kann man in den folgenden Beispielen sehen.
API-Verbindungen (Shell/Curl)
Es ist möglich sehr leicht mit Curl Kommandos die API-Schnittstelle bei der KI-Toolbox zu nutzen.
Beispiel Shell/Curl Kommando:
curl -X 'POST' \
'https://ki-toolbox.tu-braunschweig.de/api/v1/chat/send' \
-H 'accept: application/json' \
-H 'Authorization: Bearer <Token>' \
-H 'Content-Type: application/json' \
-d '{
"thread": null,
"prompt": "<Prompt>",
"model": "<Model>",
"customInstructions": "<Benutzerdefinierte Anweisungen>",
"hideCustomInstructions": <true oder false>,
}'
Zeile 2: API-Call Adresse anpassen wir nötig
Zeile 4: <Token> mit der API-Schlüssel (Token) ersetzen oder aus den Umgebungsvariablen laden
Zeilen 7 - 11: "Message Body" - anpassen wir nötig, z.B. "<Prompt>" mit dem Prompt ersetzen und "<Model>" mit dem Modelnamen
Zeile 10: hier können benutzerdefinierte Anweisungen eingegeben werden
Zeile 11: das Feld hier kann als true gesetzt werden falls die benutzerdefinierte Anweisungen auf dem Frontend nicht angezeigt werden sollen
API-Verbindungen Interface (Gradio)
Es ist möglich schnell mit Python und Gradio einen Interface zu bauen um die API-Schnittstelle zu der KI-Toolbox zu nutzen.
Beispiel Code:
import gradio as gr
import os
import requests
import json
def generate_chat_response(user_message):
url = "https://ki-toolbox.tu-braunschweig.de/api/v1/chat/send"
api_key = os.getenv("API_KEY")
headers = {
"Accept": "application/json",
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
data = {
"prompt": user_message,
"model": "gpt-4o"
}
# Sending the POST request
response = requests.post(url, headers=headers, data=json.dumps(data))
if response.status_code == 200:
# If the request was successful, return the reply from the model
final_response = {}
for line in response.iter_lines(decode_unicode=True):
chunk = json.loads(line)
if chunk.get("type") == "done":
final_response = chunk
break
return final_response.get("response", "")
else:
# If there was an error, return the status code and error message
return f"Error: {response.status_code}, {response.text}"
demo = gr.Interface(
fn=generate_chat_response,
inputs=gr.Textbox(label="Prompt", lines=10),
outputs=gr.Textbox(label="Antwort", lines=30),
title="Chatbot",
description="Hier können Sie den Chatbot eine Frage stellen:",
)
demo.launch()
Zeilen 1 - 4: nötige Imports
Zeile 7: hier kann die API-Adresse eingegeben werden
Zeile 8: der API-Schlüssel wird aus den environment Variablen geladen (vorher muss der Schlüssel exportiert werden, z.B. mit dem Kommando "export API_KEY=<API-Schlüssel>"
Zeilen 10 - 14: Headers (nach Bedarf anpassen)
Zeilen 16 - 19: Request Body (nach Bedarf anpassen)
Zeilen 21 - 37: Den Response einlesen und bearbeiten (nach Bedarf anpassen)
Zeilen 39 - 45: Interface (nach Bedarf anpassen und erweitern, z.B. mehr Felder hinzufügen)
Roadmap
Über die nächsten Wochen sind zurzeit diese Änderungen bei der KI-Toolbox eingeplant:
- separate Nutzungsbedingungen On-Premise Modelle
- mehr On-Premise Modelle, z.B. Llama, DeepSeek usw.
- Neues Modell 4o Image für die Bildgenerierung einbauen
- Bildbearbeitung wieder ermöglichen (war schon möglich in Dall-E 2)
- Weitere Datenformate (z.B. PDFs, Excel, Powerpoint usw.) bei den Uploads bei Chat
- „DeepL Write“ Anbindung bei dem Übersetzungsmodul
- Datensätze einbeziehen über RAG & MCP (suchen Kontakt zum Austausch)
- APIs auch für die Bereiche Bilder und Übersetzung
- Anbindungen an andere KI-Anbieter z.B. GWDG Modelle
- Übersetzungsglossar der TU Braunschweig verknüpfen
- Vision Funktionalitäten auch über APIs verfügbar
Diese Roadmap ist ein Dokument, das sich ständig ändert. Die Auflistung ist nicht in einer chronologischen Reihenfolge.
Changelog
Hier kann man die Changelogs ansehen:
Changelog - 2025
3. Juni 2025
- UI Bug Fixes - Copy Button und Prompt Speicherung wieder implementiert
12. Mai 2025
- Neue On-Premise Modell Alibaba Qwen 3 Model
- EOL - On-Premise Modell Alibaba QwQ (nur bis 30.06.25 verfügbar)
- EOL - OpenAI Modell o1-mini (nur bis 26.10.25 verfügbar)
- Infrastruktur Updates: Corporate Design, Migration auf React
23. April 2025
- Benutzerdefinierte Anweisungen aka System Prompt (auch bei On-Premise Modellen verfügbar - Frontend und API)
- Neue OpenAI Modelle verfügbar: o4-mini, GPT-4.1 und o3
- Modell OpenAI o4-mini als das Standardmodell gesetzt
- Toolbox Version (Datum/Uhrzeit) wird im Footer angezeigt
- Infrastruktur Updates: JRE
11. April 2025
- Eingabe der benutzerdefinierten Anweisungen beim externen Chatbot möglich
- API Update (Chatbot Extern) - Benutzerdefinitere Anweisungen aka System Prompt (optional können diese als versteckt markiert werden)
- Infrastruktur Updates: SSO
1. April 2025
- "Vision" Funktionalität nun auch bei den On-Premise Modellen verfügbar
- Aktuelle Liste der verfügbaren Modellen auf der API/Modelle Seite immer sichtbar
26. März 2025
- Dokumente können bei den Übersetzungen hochgeladen werden
- "Vision" Modelle wurden in der Auswahl mit einer Kamera Icon markiert
- OpenAI GPT o3-mini nun verfügbar
18. März 2025
- Bei On-Premise "Reasoning" Modell QwQ kann man die "Gedanken" ein- und aus-klappen
- Fehler bei den PDF Exports behoben (ist nur bei bestimmten Fällen eingetreten)
- Fehler bei den Bild Uploads behoben (ist nur bei bestimmten Fällen eingetreten)
- Neues On-Premise Modell: OpenGVLab InternVL2-8B
11. März 2025
- On-Premise Modelle hinzugefügt: Microsoft Phi4, Mistral Small, Qwen Coder und Qwen Qwq
- OpenAI o1-mini als das Standardmodell gesetzt
- API Schnittstelle für On-Premise Chat nun verfügbar
4. März 2025
- OpenAI o1 - Formatierung verbessert
- Neue Modelle: OpenAI o1 und OpenAI o1-mini
- Infrastruktur Updates: JRE, SSO usw.
11. Februar 2025
- Bilderuploads ("Vision") bei einigen Modellen ermöglicht
- Corporate Design aktualisiert
- Infrastruktur Updates: Attachments Plugin, SSO
20. Januar 2025
- Datenschutz Seite aktualisiert
Changelog - 2024
30. Oktober 2024
- API-Schnittstelle auch für Studierende verfügbar
29. Oktober 2024
- Chatverläufe können als Favorit markiert werden
- Versch. Änderungen beim Usability
- Infrastruktur Updates: JRE, SSO
23. September 2024
- Formatierung bei dem Chat Modul verbessert
- Chatverläufe können als PDFs exportiert werden
- Code in Chat Nachrichten kann einzeln kopiert werden
- Statistik Bericht (Anonym) aktualisiert
- Infrastruktur Updates: Mail
19. August 2024
- Kleinen Fehler bei neuen Chatverläufen behoben
12. August 2024
- Nutzungsbegrenzung bei der API-Schnittstelle gesetzt
- API-Schnittstelle für GPT Modellen verfügbar
- Latex Formatierung bei den Formellen verbessert
- OpenAI GPT 4o-mini als Standardmodell gesetzt
- Prompts werden in dem Session gespeichert auch falls die Sitzung abläuft
- Formatierung verbessert
- Infrastruktur Updates: JRE, Admin Tools
8. Mai 2024
- Bildgenerierung - Historie zeigt Thumbnails
- Modell Dall-E 2 raus genommen (EOL)
- Formatierung verbessert
29. April 2024
- Rate Limits höher gesetzt
- Usability verbessert - mehr Links usw.
- Infrastruktur Updates: JRE
19. April 2024
- Bildgenerierung - alte Thumbnails werden automatisch gelöscht
- Neue Corporate Design
- Infrastruktur Updates: Grails, Corporate Design
11. April 2024
- Produktive Seite (Launch)
- Design verbessert
- Zusammenfassungen in der Historie sind multilingual
- Infrastruktur Updates: Admin Tools
22. Februar 2024
- Modell Dall-E 2 implementiert
- Stabilität bei Fehlern verbessert
- Neue Corporate Design
19. Februar 2024
- Tooltips implementiert/verbessert
- Chat und Übersetzungsmodule stabiler gebaut (Weniger Fehleranfällig)
- Datenschutz Änderungen
- Formatierung verbessert
- OpenAI GPT Modell 3.5 Turbo auf Variante 0125 aktualisiert
- Kopieren und Löschen Buttons beim Übersetzungsmodul hinzugefügt
- Übersetzungshistorie wird automatisch nach zwei Wochen gelöscht
- Counters bei den Eingabefeldern implementiert
- Infrastruktur Updates: JRE
24. Januar 2024
- Übersetzungsmodul (DeepL) eingebaut
- Wechsel zwischen OpenAI Modellen 3.5 und 4 möglich
- Neue Corporate Design
- Kleine Fehler behoben
Changelog - 2023
21. Dezember 2023
- QA-Seite (Launch)
- Neue Nutzungsbedingungsseite
- Home Page Formatierung verbessert