KI-Toolbox
Die KI-Toolbox ist kostenlos für Mitglieder und Angehörige der TU Braunschweig. Die Toolbox ist über diese Adresse verfügbar:
https://ki-toolbox.tu-braunschweig.de/
Die Seite kann von innerhalb sowieso von außerhalb des TUBS Netzes zugegriffen werden.
Über die Weboberfläche können Nutzer*innen mehrere Module wie Chat, Bildgenerierung und Übersetzungen zugreifen. Zusätzlich ist die Nutzung der Funktionalität auch über eine API-Schnittstelle möglich.
Die ZPE (Zentrale Personalentwicklung) und Media Lab der TUBS organisiert regelmäßige Schulungen für die Nutzung der KI-Toolbox. Die Infos dazu kann man hier sehen:
https://www.tu-braunschweig.de/zpe
https://www.tu-braunschweig.de/medialab
Unten finden Sie Hilfeseiten und Anleitungen zu der Nutzung.
Bei weiteren Fragen schicken Sie uns gerne eine E-Mail an: gitz-ki-tools-feedback@tu-braunschweig.de
KI-Toolbox - Module
Chatbot (Extern)
Die KI-Toolbox bietet Zugriff zu vielen sogenannten LLMs (Lange Language Modellen), die es ermöglichen mit der KI zu sprechen, Fragen zu stellen und kleine Aufgaben erledigen zu lassen. Über die Option "Chatbot" erreicht man den Modul.
Eine Liste der aktuellen verfügbaren Modellen: https://ki-toolbox.tu-braunschweig.de/authenticationToken/show
Das Modul bietet zurzeit diese Funktionalitäten an:
- Chat mit verschiedenen Modellen möglich
- Chat Verlauf und Historie (wird nach 14 Tagen automatisch gelöscht)
- Chat Verläufe können gespeichert werden damit sie nicht gelöscht werden
- Chat Verläufe können sofort gelöscht werden
- PDF Export Funktionalität
- Bilder Uploads ("Vision") Funktionalität bei einigen Modellen verfügbar
Chatbot (On-Premise)
Die KI-Toolbox bietet Zugriff zu vielen sogenannten LLMs (Lange Language Modellen), die es ermöglichen mit der KI zu sprechen, Fragen zu stellen und kleine Aufgaben erledigen zu lassen. Im Vergleich zu den externen LLMs werden die On-Premise LLMs direkt bei der TU Braunschweig gehostet. Das heißt, dass die Daten die an diesen LLMs geschickt werden verlassen das TU Braunschweig Netz nicht. Über die Option "Chatbot (On-premise)" erreicht man den Modul.
Eine Liste der aktuellen verfügbaren Modellen: https://ki-toolbox.tu-braunschweig.de/authenticationToken/show
Das Modul bietet zurzeit diese Funktionalitäten an:
- Chat mit verschiedenen Modellen möglich
- Chat Verlauf und Historie (wird nach 14 Tagen automatisch gelöscht)
- Chat Verläufe können gespeichert werden damit sie nicht gelöscht werden
- Chat Verläufe können sofort gelöscht werden
- PDF Export Funktionalität
- Bilder Uploads ("Vision") Funktionalität bei einigen Modellen verfügbar
Bild Generierung
Die KI-Toolbox bietet Zugriff zu KI-Modellen die Bilder generieren können. Über die Option "Bild generieren" erreicht man den Modul.
Das Modul bietet zurzeit diese Funktionalitäten an:
- Auswahl an verschiedenen Größen
- Bildqualität und Stil können ebenfalls ausgewählt werden
- Historie (wird nach 14 Tagen automatisch gelöscht)
- Anfragen in der Historie können sofort gelöscht werden
- Bilder können herunterladen werden (für ca. 1 Stunde)
Übersetzung
Die KI-Toolbox bietet Zugriff zu einem Übersetzungsmodul wo es Zugriff zu Übersetzungen mit Hilfe von DeepL Pro gibt. Über die Option "Übersetzung" erreicht man den Modul.
Das Modul bietet zurzeit diese Funktionalitäten an:
- Übersetzungen zwischen 34 Sprachen
- Automatische Spracherkennung
- Formalität/Ton (Formell oder Informell) kann ausgewählt werden
- Historie (wird nach 14 Tagen automatisch gelöscht)
- Übersetuzungsanfragen können sofort gelöscht werden
- Datei Uploads möglich
Nutzung der KI-Toolbox über API-Calls
Die KI-Toolbox kann man auch über eine API-Schnittstelle erreichen. Die OAS3 Dokumentation dazu kann man hier sehen:
https://ki-toolbox.tu-braunschweig.de/swagger-ui/index.html
Beispiele wie man die Verbindung aufbauen kann, kann man in den folgenden Beispielen sehen.
API-Verbindungen (Shell/Curl)
Es ist möglich sehr leicht mit Curl Kommandos die API-Schnittstelle bei der KI-Toolbox zu nutzen.
Beispiel Shell/Curl Kommando:
curl -X 'POST' \
'https://ki-toolbox.tu-braunschweig.de/api/v1/chat/send' \
-H 'accept: application/json' \
-H 'Authorization: Bearer <Token>' \
-H 'Content-Type: application/json' \
-d '{
"thread": null,
"prompt": "<Prompt>",
"model": "<Model>"
}'
Zeile 2: API-Call Adresse anpassen wir nötig
Zeile 4: <Token> mit der API-Schlüssel (Token) ersetzen oder aus den Umgebungsvariablen laden
Zeilen 7 - 9: "Message Body" - anpassen wir nötig, z.B. "<Prompt>" mit dem Prompt ersetzen und "<Model>" mit dem Modelnamen
API-Verbindungen Interface (Gradio)
Es ist möglich schnell mit Python und Gradio einen Interface zu bauen um die API-Schnittstelle zu der KI-Toolbox zu nutzen.
Beispiel Code:
import gradio as gr
import os
import requests
import json
def generate_chat_response(user_message):
url = "https://ki-toolbox.tu-braunschweig.de/api/v1/chat/send"
api_key = os.getenv("API_KEY")
headers = {
"Accept": "application/json",
"Authorization": f"Bearer {api_key}",
"Content-Type": "application/json"
}
data = {
"prompt": user_message,
"model": "gpt-4o"
}
# Sending the POST request
response = requests.post(url, headers=headers, data=json.dumps(data))
if response.status_code == 200:
# If the request was successful, return the reply from the model
final_response = {}
for line in response.iter_lines(decode_unicode=True):
chunk = json.loads(line)
if chunk.get("type") == "done":
final_response = chunk
break
return final_response.get("response", "")
else:
# If there was an error, return the status code and error message
return f"Error: {response.status_code}, {response.text}"
demo = gr.Interface(
fn=generate_chat_response,
inputs=gr.Textbox(label="Prompt", lines=10),
outputs=gr.Textbox(label="Antwort", lines=30),
title="Chatbot",
description="Hier können Sie den Chatbot eine Frage stellen:",
)
demo.launch()
Zeilen 1 - 4: nötige Imports
Zeile 7: hier kann die API-Adresse eingegeben werden
Zeile 8: der API-Schlüssel wird aus den environment Variablen geladen (vorher muss der Schlüssel exportiert werden, z.B. mit dem Kommando "export API_KEY=<API-Schlüssel>"
Zeilen 10 - 14: Headers (nach Bedarf anpassen)
Zeilen 16 - 19: Request Body (nach Bedarf anpassen)
Zeilen 21 - 37: Den Response einlesen und bearbeiten (nach Bedarf anpassen)
Zeilen 39 - 45: Interface (nach Bedarf anpassen und erweitern, z.B. mehr Felder hinzufügen)
Roadmap
Über die nächsten Wochen sind zurzeit diese Änderungen bei der KI-Toolbox eingeplant:
- separate Nutzungsbedingungen On-Premise Modelle
- mehr On-Premise Modelle, z.B. Llama, DeepSeek usw.
- Neues Modell 4o Image für die Bildgenerierung einbauen
- Bildbearbeitung wieder ermöglichen (war schon möglich in Dall-E 2)
- Weitere Datenformate (z.B. PDFs, Excel, Powerpoint usw.) bei den Uploads bei Chat
- „DeepL Write“ Anbindung bei dem Übersetzungsmodul
- Datensätze einbeziehen über RAG & MCP (suchen Kontakt zum Austausch)
- APIs auch für die Bereiche Bilder und Übersetzung
- Anbindungen an andere KI-Anbieter z.B. GWDG Modelle
- Übersetzungsglossar der TU Braunschweig verknüpfen
- Dokumentation / Hilfe Book
- Vision Funktionalitäten auch über APIs verfügbar
- Custom Instructions beim Chat
Der Roadmap ist ein Dokument was sich ständig ändert. Die Auflistung ist nicht in einer chronologischen Reihenfolge.
Changelog
Hier kann man die Changelogs ansehen:
Changelog - 2025
1. April 2025
- "Vision" Funktionalität nun auch bei den On-Premise Modellen verfügbar
- Aktuelle Liste der verfügbaren Modellen auf der API/Modelle Seite immer sichtbar
26. März 2025
- Dokumente können bei den Übersetzungen hochgeladen werden
- "Vision" Modelle wurden in der Auswahl mit einer Kamera Icon markiert
- OpenAI GPT o3-mini nun verfügbar
18. März 2025
- Bei On-Premise "Reasoning" Modell QwQ kann man die "Gedanken" ein- und aus-klappen
- Fehler bei den PDF Exports behoben (ist nur bei bestimmten Fällen eingetreten)
- Fehler bei den Bild Uploads behoben (ist nur bei bestimmten Fällen eingetreten)
- Neues On-Premise Modell: OpenGVLab InternVL2-8B
11. März 2025
- On-Premise Modelle hinzugefügt: Microsoft Phi4, Mistral Small, Qwen Coder und Qwen Qwq
- OpenAI o1-mini als das Standardmodell gesetzt
- API Schnittstelle für On-Premise Chat nun verfügbar
4. März 2025
- OpenAI o1 - Formatierung verbessert
- Neue Modelle: OpenAI o1 und OpenAI o1-mini
- Infrastruktur Updates: JRE, SSO usw.
11. Februar 2025
- Bilderuploads ("Vision") bei einigen Modellen ermöglicht
- Corporate Design aktualisiert
- Infrastruktur Updates: Attachments Plugin, SSO
20. Januar 2025
- Datenschutz Seite aktualisiert
Changelog - 2024
30. Oktober 2024
- API-Schnittstelle auch für Studierende verfügbar
29. Oktober 2024
- Chatverläufe können als Favorit markiert werden
- Versch. Änderungen beim Usability
- Infrastruktur Updates: JRE, SSO
23. September 2024
- Formatierung bei dem Chat Modul verbessert
- Chatverläufe können als PDFs exportiert werden
- Code in Chat Nachrichten kann einzeln kopiert werden
- Statistik Bericht (Anonym) aktualisiert
- Infrastruktur Updates: Mail
19. August 2024
- Kleinen Fehler bei neuen Chatverläufen behoben
12. August 2024
- Nutzungsbegrenzung bei der API-Schnittstelle gesetzt
- API-Schnittstelle für GPT Modellen verfügbar
- Latex Formatierung bei den Formellen verbessert
- OpenAI GPT 4o-mini als Standardmodell gesetzt
- Prompts werden in dem Session gespeichert auch falls die Sitzung abläuft
- Infrastruktur Updates: JRE, Admin Tools