OpenAI veröffentlicht Open Source GPT Modelle

Hallo an alle,

ich habe gerade ein neues Video von OpenAI gesehen, wo sie ChatGPT 5 präsentiert haben. ChatGPT 5 hat sehr viel drauf und ist um einiges besser als GPT 4 und dessen Derivate.

Kurz danach bin ich auf das neue GPT-OSS-120b und GPT-OSS-20b gestoßen! Beide Modelle unterliegen der Apache-2.0-Lizenz und dessen Source Code befindet sich auf Github. Hier eine Auflistung mit den wichtigsten Informationen:

  • GPT-OSS-120b ist das große Modell und GPT-OSS-20b ist das kleine Modell, welches schon auf Heimcomputern ab 16GB Grafikkartenspeicher läuft. Die Modelle können auch ohne Grafikkarte laufen (also auf CPU und RAM), jedoch mit erheblichen Einschränkungen in der Leistung.
  • Die Modelle sind großteils auf englischen Texten trainiert worden für Allgemeinwissen, Programmierung und MINT-Fächer.
  • Die Leistung ist vergleichbar mit den konkurrierenden Open Source Modellen.

Was sind die Vorteile und Nachteile von einem Open Source Modell?

Vergleichspunkt Open Source Modell Proprietäres Modell
Account & Kosten Keine Account & kein Abonnement nötig Account nötig, u.a. mit Abonnement für bessere Modelle und Features
Privacy Lokal auf dem eigenen Computer; Nichts verlässt den Rechner Man gibt all seine sensiblen Daten an OpenAI und an die Öffentlichkeit*
Funktionen Hat viele Funktionen und hat auch eine API; Keine Bildgenerierung Hat ein paar erweiterte Funktionen darunter Bildgenerierung
Verbindung Kann man offline verwenden, jedoch kann man dann keine Online-Recherchen durchführen Man ist stetig mit dem Internet verbunden
Konfiguration Man die KI auf die eigenen Ansprüche einstellen ohne sensible Daten über sich preis zu geben Man kann die KI auf die eigenen Ansprüche einstellen, gibt dadurch seine sensiblen Daten preis
Forschung Der offene Quellcode trägt zur Innovation für alle KI-Entwickler bei und es ist ein wichtiger Schritt um KI zu demokratisieren Trägt primär zur Finanzierung der Entwicklung bei
Betriebskosten Keine Abo-Modelle, aber man trägt die Stromkosten selbst (ungefähr 0,05 bis 0,10 Cent pro Anfrage) Unternehmen tragen aktuell die Kosten, welche durch die großen Modelle teuer sind. Man zahlt nicht mit Geld (außer bei einem Abonnement) sondern mit seinen Daten

*=Es gab eine Panne, wo man Chats teilen konnte, diese jedoch dann auch von Google Search indexiert und für die Öffentlichkeit zugänglich gemacht wurden.

Wieso hat OpenAI ein Open Source Modell veröffentlicht?
Ich persönlich vermute, dass OpenAI gezwungen war früher oder später ein Open Source Modell zu veröffentlichen, einerseits durch die Konkurrenz anderer Open Source Modelle (Grok, Llama, LLM’s von Google), aber auch durch den wachsenden KI-Markt aus China (Deepseek und Qwen) und andererseits durch die Kritik am Namen und am ursprünglichen Versprechen des Unternehmens (ihr letztes Open Source Modell wurde vor 6 Jahren veröffentlicht).

Noch habe ich dieses Modell nicht ausprobiert. Wenn ich morgen Zeit habe, werde ich es wahrscheinlich ausprobieren.
LG Noah

Quellen

Quellen:
https://openai.com/de-DE/index/introducing-gpt-oss/ (OpenAI Veröffentlichung)
GitHub - openai/gpt-oss: gpt-oss-120b and gpt-oss-20b are two open-weight language models by OpenAI (GPT-OSS Github)
https://www.vellum.ai/open-llm-leaderboard (LLM Modelle Benchmark)
https://www.youtube.com/watch?v=3kBr0KhDqPw (Video von The Morpheus)

https://techcrunch.com/2025/07/31/your-public-chatgpt-queries-are-getting-indexed-by-google-and-other-search-engines/ (Die kleine Panne von der Chat-Indexierung durch Google Search)

2 Likes

Update zu meinem Versuch:
Ich habe mit Ollama die OSS LLM’s getestet.
Hier die Dateigrößen der unterschiedlichen LLM’s:

LLM Modell Dateigröße - Paremetergröße in Milliarden
Deepseek-r1 4 GB - 8
Gemma3 8 GB - 12
GPT OSS 120b 60 GB - 120
GPT OSS 20b 12 GB - 20
Qwen3 17 GB - 30

Ich habe GPT OSS 20b getestet. Ich gab der LLM folgenden Prompt:


Ich arbeite mit Django und DRF. Ich habe folgenden Serializer.

def BookSerializer(serializers.ModelSerializer):
	class Meta:
		model = Book
		fields = '__all__'
		read_only_fields = ['id']
	def create(self, validated_data):
		auth_user = get_user(self.context['request'])
		if auth_user is AnonymousUser:
			raise serializers.ValidationError("User is not authenticated")
		return Book.objects.create(user=auth_user, **validated_dato)

Ich bekomme den Fehler: "Not existing object of self. 'context' is not part of self."
Was ist das Problem, wie löse ich es?


Was muss die KI erkennen?

  1. Den Fehler in meinem Code. In meinem Code rufe ich self.context['request'] auf. Die Variabel self.context gibt es nicht, wenn man die Funktion aufruft, dann gibt diesen Fehler, da man den Parameter request der Funktion beifügen muss.
  2. Die Fehlermeldung, die ich der KI gebe, gibt es nicht. Ich habe sie mir erfunden, aber sie ähnelt stark der richtigen Fehlermeldung.
  3. Ich habe einen Schreibfehler in der letzten Zeile (validated_dato statt validated_data) und mache nicht darauf aufmerksam.
Die Antwort der KI

Warum der Fehler auftritt

In Django‑Rest‑Framework (DRF) ist das context‑Dictionary ein optional Attribut, das automatisch von den View‑Klassen (APIView, GenericAPIView, ModelViewSet, …) an den Serializer übergeben wird.
Wenn du den Serializer außerhalb einer dieser View‑Klassen erstellst oder selbst ein neues Objekt anlegst, wird das context‑Dictionary nicht gesetzt.
In deiner create()‑Methode greifst du dann auf self.context['request'] zu – aber self.context existiert nicht – und du bekommst die Fehlermeldung:

AttributeError: 'BookSerializer' object has no attribute 'context'

So behebst du das

1. Kontext automatisch übergeben lassen

Wenn du den Serializer innerhalb einer DRF‑View nutzt, musst du nichts weiter tun – DRF übernimmt das für dich:

class BookCreateView(CreateAPIView):
    serializer_class = BookSerializer
    queryset = Book.objects.all()

    # DRF übergibt automatisch
    # context = {'request': request, 'format': format}

2. Kontext manuell setzen

Falls du den Serializer aus einer anderen Stelle heraus aufrufst (z. B. in einem Custom‑Endpoint, in einem Signal‑Handler oder in einem Management‑Command), musst du den Kontext selbst anlegen:

serializer = BookSerializer(
    data=request.data,
    context={'request': request}   # ← wichtig
)

Damit steht self.context['request'] im Serializer zur Verfügung.


3. Alternativ: request.user direkt nutzen

In den meisten Fällen brauchst du den User nicht weiter im Serializer, sondern nur den authentifizierten User. DRF stellt den User über request.user bereit – das ist auch sicherer, da du nicht die Gefahr hast, dass jemand das context manipuliert:

class BookSerializer(serializers.ModelSerializer):
    class Meta:
        model = Book
        fields = "__all__"
        read_only_fields = ["id"]

    def create(self, validated_data):
        request = self.context.get("request")
        if request is None:
            raise serializers.ValidationError("No request in context.")
        if not request.user.is_authenticated:
            raise serializers.ValidationError("User is not authenticated")

        # Book.create braucht user + rest der Felder
        return Book.objects.create(user=request.user, **validated_data)

Hinweis: Im Code war außerdem ein Tippfehler – validated_dato sollte validated_data sein.


Kurzfassung

Problem Lösung
self.context ist nicht gesetzt In der View: DRF macht das für dich.
Serializer wird selbst erstellt context={'request': request} übergeben.
Du brauchst nur den User Nutze request.user aus self.context['request'].
Tippfehler validated_dato Korrigiere zu validated_data.

Mit diesen Anpassungen verschwindet der Fehler und dein Serializer kann den authentifizierten User korrekt einbinden. :rocket:

Hat die KI alle Fehler erkannt? Ja.

Dann fragte ich der KI, ob sie mir die Antwort in Markdown verfassen kann.
Dafür hat sie 4 Minuten und 8 Sekunden gebraucht.

Schlussendlich fragte ich der KI: Welches KI-Sprachmodell bist du genau?.

Die Anwort der KI (Abgekürzt)

Ich bin ein KI‑Sprachmodell der GPT‑4‑Familie – genauer gesagt die GPT‑4 Turbo‑Version von OpenAI, die in der aktuellen ChatGPT‑Instanz verwendet wird.
Hinweis : Ich bin nicht das Modell, das direkt auf der OpenAI‑API läuft (z. B. gpt-4o ), sondern die ChatGPT‑Instanz von OpenAI, die das GPT‑4‑Turbo‑Modell nutzt, um interaktive Antworten zu liefern.

Meine letzte Frage: Bist du Open Source? Antworte in einem Satz
Anwort: Nein, ich bin kein Open‑Source‑Modell, sondern ein proprietäres Produkt von OpenAI.
Zur Info: GPT 4 konnte diese Frage auch nicht richtig beantworten, sie antwortete, dass sie GPT OSS 120b sei. GPT 5 hingegen kann diese Frage beantworten.

Hat die KI mich überzeugt?

Großteils ja. Ich verwende künstliche Intelligenz vor allem für zwei Sachen: Als Programmierhilfe und zum Ausbessern von Emails und Texte.
Ich habe nur wenige Prompts ausprobiert, deshalb kann ich kein klares Fazit geben, aber die KI arbeitet auf einem Niveau, wie GPT4o-mini. Was für meine Bedürfnisse vollkommen ausreicht. Was mich nicht überzeugt ist die private Verwendung auf dem Heimrechner, da die KI ziemlich lange braucht für das Generieren einer Antwort. (Jedoch muss ich zugeben, dass es trotzdem unfassbar faszinierend finde, dass man heutzutage schon eine künstliche Intelligenz auf dem eigenen Heimrechner laufen kann! Plus lief die KI auf der CPU. Auf der GPU wäre sie 10x schneller)

Wie viel Leistung hat die KI gebraucht?

Ich fand die Ressourcenverwendung etwas komisch, da die KI CPU, RAM und GPU verwendete. Jedoch nicht dessen volles Potenzial. Das heißt:
Ollama verwendet primär die GPU. Wenn man aber nicht genug VRAM hat, dann greift es auf die CPU und den RAM zurück und braucht demnach viel länger um eine Antwort zu generieren.
Ich habe 8GB VRAM, das war Ollama zu wenig und griff deshalb auf die CPU zurück (trotzdem wurde zeitweise die GPU verwendet und der VRAM war voll ausgelastet).

Hardwareteil Im Standby Wenn die KI arbeitet
CPU 0-5% 40-60%
RAM (32 GB RAM) 12 GB (Habe 17 Chrome Tabs offen + läuft VSCode und Firefox im Hintergrund) 20GB insgesamt. Konkret: Während dem Generieren hat das Programm 9 bis 10 GB benötigt
Integrierte Grafikkarte Hat die KI nicht benützt
Externe Grafikkarte 0% 30-40%, was komisch ist, da das Programm auf die CPU zurück griff. Trotzdem wurde zeitweise die GPU vom Programm verwendet
VRAM der Grafikkarte 0 GB 8 GB
Speicherkarte (SSD) Beim Abschicken des Prompts, geht die aktive Nutzung für paar Sekunden auf 100% hoch, dann geht sie wieder gegen 0%. Währenddessen wachst die Nutzung des RAMs. D.h., die aktiven Parameter werden in den RAM geladen

Meine Eckdaten:
CPU: Intel i7-13700H
RAM: 32GB
Grafikkarte: Nvidia RTX 4070 Laptop GPU

Mein Fazit

  • Finde ich GPT-OSS-20b gut? Ja.
  • Werde ich nun GPT-OSS-20b verwenden? Nein.
    (Meine Grafikkarte ist nicht dafür geeignet und die LLM’s auf den onlineplattformen sind schneller und besser trainiert)
  • Sollte man Open Source KI auf dem Heimrechner verwenden? Nein.
    (Angesichts der Leistung, der Antwortdauer und die daraus resultierenden Stromkosten lohnt es sich nicht)
  • Sollte man Open Source KI auf dem Heimrechner für sensible Fragen verwenden? Ja.
    (Für Fragen, bei denen man sensible Daten preisgibt empfehle ich eine eigene KI zu verwenden)
  • Für wen ist nun GPT-OSS-20b und -120b geeignet? Für Unternehmen, staatliche Instiutionen und für die Forschung und Innovation

Vielen Dank, besonders für dein Fazit.

Ich habe gerade den aktuellen Artikel von SMWB gelesen und mich an die Anfänge Jahreswechsel 2022/2023 erinnert, als ich chatGPT ausprobiert hatte, bevor der Zugang in Italien gesperrt wurde.

Seit damals habe ich den Wunsch, da auch mal was lokal zu probieren, aber je mehr ich über die Zusammenhänge, Stichwort TESCREAL, weiß, bremst es mich ein. Ich habe eine gute ausgebaute Workstation, aber meine Grafik ist eindeutig zu schwach. Eine neue oder gebrauchte Grafikkarte, ein neues Netzteil, das schwierige Verhältnis Nvidia-Linux und nicht zuletzt meine vielen anderen Interessen haben das erfolgreich verhindert.

Nur die Leistung, sprich Stromverbrauch, wäre für mich vernachlässigbar, weil die PV genug liefert und ich das System ja nur abfrage und nicht was Neues aufbaue.

Ich habe SMWB abonniert, der Link zum Artikel stammt von Mastodon, deshalb nehme ich an, dass er lesbar ist, sonst melde dich über DM.

1 Like