🛡️ GIOMIND – RICHTLINIE ZUR INHALTSMODERATION WIE WIR DIE PLATTFORM SICHER HALTEN
Zuletzt aktualisiert: 1. Dezember 2025 Inkrafttreten: 1. Dezember 2025
📋 EINLEITUNG
Diese Richtlinie zur Inhaltsmoderation erläutert, wie GioMind Inhalte moderiert, um eine sichere, unterstützende Umgebung aufrechtzuerhalten. Sie beschreibt unsere Moderationssysteme, Prozesse und das Gleichgewicht zwischen automatisierter und menschlicher Überprüfung.
Diese Richtlinie ergänzt unsere Community-Richtlinien und Nutzungsbedingungen.
INHALTSVERZEICHNIS
Zweck und Geltungsbereich
Was wir moderieren
Überblick über Moderationssysteme
Automatisierte Inhaltsfilterung
KI-Sicherheitsmaßnahmen
Menschlicher Überprüfungsprozess
Proaktive vs. reaktive Moderation
Nutzermeldungen
Inhaltsentfernung und Maßnahmen
Transparenz und Rechenschaftspflicht
Grenzen der Moderation
Ihre Rolle bei der Sicherheit
Einsprüche und Feedback
Änderungen dieser Richtlinie
ZWECK UND GELTUNGSBEREICH
1.1 Warum wir Inhalte moderieren
Die Inhaltsmoderation dient dazu: ✓ Nutzer vor schädlichen Inhalten zu schützen ✓ Eine sichere und unterstützende Umgebung aufrechtzuerhalten ✓ Community-Richtlinien und Nutzungsbedingungen durchzusetzen ✓ Illegale Aktivitäten zu verhindern ✓ Risiken im Zusammenhang mit KI-generierten Inhalten zu reduzieren ✓ Gesetzliche Anforderungen zu erfüllen
1.2 Was diese Richtlinie abdeckt
Diese Richtlinie gilt für: • KI-generierte Inhalte (Konversationen mit KI) • Nutzer-generierte Inhalte (Tagebucheinträge, falls geteilt, zukünftige Funktionen) • Alle über GioMind erstellten oder übertragenen Inhalte • Inhalte aller Nutzer, unabhängig vom Standort
1.3 Rechtlicher Rahmen
Unsere Moderationspraktiken entsprechen: • Digital Services Act (DSA) – Europäische Union • Online Safety Act – Vereinigtes Königreich (soweit anwendbar) • Section 230-Schutz – Vereinigte Staaten • Anderen anwendbaren lokalen Gesetzen
WAS WIR MODERIEREN
2.1 Inhaltskategorien, die der Moderation unterliegen
Wir moderieren Inhalte bezüglich:
Höchste Priorität (Null-Toleranz): 🚨 Material über sexuellen Missbrauch von Kindern (CSAM) 🚨 Terrorismus und gewaltbereiter Extremismus 🚨 Glaubwürdige Gewaltdrohungen 🚨 Menschenhandel und Ausbeutung 🚨 Anleitungen für illegale Waffen oder Sprengstoffe
Hohe Priorität (Strenge Durchsetzung): ⚠️ Hassrede und Diskriminierung ⚠️ Gezielte Belästigung und Mobbing ⚠️ Anleitungen oder Ermutigung zur Selbstverletzung ⚠️ Gefährliche Gesundheitsfehlinformationen ⚠️ Sexuelle Inhalte und Belästigung ⚠️ Doxxing und Verletzungen der Privatsphäre
Mittlere Priorität: • Spam und Manipulation • Fehlinformationen (nicht gefährlich) • Unangemessene KI-Nutzung • Plattformmissbrauch • Urheberrechtsverletzungen
Niedrige Priorität (kontextabhängig): • Themenfremde Inhalte • Übermäßiges Teilen persönlicher Informationen • Geringfügige Verstöße gegen Richtlinien
2.2 Inhalte, die wir NICHT moderieren
Wir moderieren grundsätzlich NICHT: ✓ Private Tagebucheinträge (nicht öffentlich geteilt) ✓ Meinungen oder Standpunkte (sofern sie nicht gegen Richtlinien verstoßen) ✓ Kritik an GioMind (konstruktives Feedback ist willkommen) ✓ Diskussionen über kontroverse, aber legale Themen
2.3 Der Kontext ist wichtig
• Inhalte werden im Kontext bewertet • Bildungs- oder Aufklärungsinhalte können zulässig sein • Die Absicht ist wichtig (böswillig vs. versehentlich) • Wir streben nach differenzierter, fairer Moderation
ÜBERBLICK ÜBER MODERATIONSSYSTEME
3.1 Mehrschichtiger Ansatz
GioMind verwendet eine Kombination aus:
Automatisierte Filterung (vor und nach KI)
KI-Anbieter-Sicherheitssysteme (OpenAI, Anthropic)
Proaktive Überwachung (Stichproben, Mustererkennung)
Nutzermeldungen (Community-Kennzeichnung)
Menschliche Überprüfung (bei Bedarf)
3.2 Moderationsablauf
Nutzereingabe
↓
[Vorfilter] → Offensichtliche Verstöße blockieren
↓
KI-Anbieter → Antwort generieren + Sicherheitscheck
↓
[Nachfilter] → KI-Ausgabe überprüfen
↓
An Nutzer ausliefern
↓
[Laufende Überwachung] → Proaktive Überprüfung & Nutzermeldungen
↓
[Menschliche Überprüfung] → Bei Kennzeichnung oder Meldung
↓
[Maßnahme] → Warnung, Inhaltsentfernung, Kontomaßnahme
3.3 Kompromiss zwischen Geschwindigkeit und Genauigkeit
• Automatisierte Systeme sind schnell, aber unvollkommen • Menschliche Überprüfung ist genau, aber langsamer • Wir balancieren Geschwindigkeit (zur Schadensverhütung) mit Fairness (zur Vermeidung falscher Positive)
AUTOMATISIERTE INHALTSFILTERUNG
4.1 Filterung vor Eingabe
Bevor Inhalte die KI erreichen, filtern wir nach: • Bekannten schädlichen Schlüsselwörtern oder Phrasen • Mustern, die auf verbotene Anfragen hinweisen • Indikatoren für explizite sexuelle Inhalte • CSAM-bezogenen Begriffen (Null-Toleranz) • Gewalt- und Bedrohungsmustern
Maßnahmen: • Anfrage sofort blockieren • Nutzer eine Warnmeldung anzeigen • Versuch zur Überwachung protokollieren
Beispiel:
Nutzer: [Versucht verbotene Anfrage]
System: ⚠️ Diese Anfrage kann nicht verarbeitet werden,
da sie gegen unsere Community-Richtlinien verstößt.
4.2 Filterung nach Ausgabe
Nachdem die KI eine Antwort generiert hat, filtern wir nach: • Schädlichen Inhalten in KI-Antworten • Medizinischen Ratschlägen oder Diagnosen (sollte nicht vorkommen, aber Doppelcheck) • Unangemessenen Vorschlägen • Inhalten, die durch KI-Anbieter-Filter gerutscht sind
Maßnahmen: • Antwort blockieren, sodass sie nicht angezeigt wird • Stattdessen generische sichere Antwort zeigen • Zur Überprüfung und Systemverbesserung protokollieren
Beispiel:
KI generiert unangemessenen Inhalt
↓
System blockiert ihn
↓
Nutzer sieht: "Es tut mir leid, aber ich kann diese Art
von Informationen nicht bereitstellen. Lassen
Sie mich Ihnen mit etwas anderem helfen."
4.3 Schlüsselwort- und Mustererkennung
Wir verwenden: • Schlüsselwortlisten (regelmäßig aktualisiert) • Reguläre Ausdrücke (Musterabgleich) • Semantische Analyse (Bedeutungserkennung) • Machine-Learning-Klassifizierer
Einschränkungen: ⚠️ Kann falsch-positive Ergebnisse erzeugen (sichere Inhalte blockieren) ⚠️ Kann kreative Umgehungsversuche übersehen ⚠️ Kontext kann missverstanden werden
4.4 Umgang mit falsch-positiven Ergebnissen
Wenn legitime Inhalte blockiert werden: • Sie können das Problem melden • Wir überprüfen und passen Filter an • Wir streben danach, falsch-positive Ergebnisse zu minimieren und gleichzeitig die Sicherheit aufrechtzuerhalten
KI-SICHERHEITSMASSNAHMEN
5.1 Integrierte Sicherheit der KI-Anbieter
OpenAI: • Verfügt über Sicherheitsfilter für schädliche Inhalte • Lehnt bestimmte Arten von Anfragen ab • Überwacht auf Richtlinienverstöße • Aktualisiert Sicherheitssysteme regelmäßig
Anthropic: • Constitutional AI-Ansatz (trainiert, um hilfreich, harmlos, ehrlich zu sein) • Integrierte Sicherheitsleitplanken • Lehnt schädliche Anfragen ab
Wir verlassen uns auf diese Anbieter, fügen aber unsere eigenen Ebenen hinzu.
5.2 GioMind-spezifische KI-Anweisungen (Prompts)
Wir weisen die KI an: ✓ Sich auf allgemeines Wohlbefinden zu konzentrieren, nicht auf medizinische Beratung ✓ Keine Diagnosen oder Behandlungen von Zuständen durchzuführen ✓ Keine Krisenunterstützung zu bieten (auf Fachleute verweisen) ✓ Keine schädlichen Inhalte zu generieren ✓ Unterstützend und nicht wertend zu sein ✓ Bei Wellness-Themen zu bleiben
5.3 KI-Einschränkungen, die wir nicht vollständig kontrollieren können
Trotz Maßnahmen kann die KI: ❌ Manchmal unangemessene Inhalte generieren ❌ Anweisungen nicht immer perfekt befolgen ❌ Auf geschickt formulierte schädliche Anfragen reagieren ❌ Fehler im Urteilsvermögen machen
Deshalb haben wir mehrere Filterebenen.
5.4 Jailbreak-Erkennung
Wir überwachen auf Versuche: • KI-Sicherheitsanweisungen außer Kraft zu setzen • Prompt-Injection-Techniken zu verwenden • KI zu schädlichen Ausgaben zu manipulieren
Maßnahmen: • Jailbreak-Versuche blockieren • Konten bei wiederholten Versuchen kennzeichnen • Kann zur Kontosperrung führen
MENSCHLICHER ÜBERPRÜFUNGSPROZESS
6.1 Wann menschliche Überprüfung stattfindet
Menschliche Moderatoren überprüfen Inhalte, wenn: • Automatisierte Systeme potenziell verstoßende Inhalte kennzeichnen • Nutzer Inhalte melden • Proaktive Stichproben zur Qualitätssicherung durchgeführt werden • KI unsichere oder grenzwertige Inhalte generiert • Einsprüche eingereicht werden • Rechtliche Anfragen eine Überprüfung erfordern
6.2 Was menschliche Überprüfer tun
Moderatoren: ✓ Bewerten gekennzeichnete Inhalte im Kontext ✓ Bestimmen, ob Community-Richtlinien verletzt werden ✓ Entscheiden über angemessene Durchsetzungsmaßnahmen ✓ Geben Feedback zur Verbesserung automatisierter Systeme ✓ Bearbeiten komplexe oder differenzierte Fälle
6.3 Einschränkungen der menschlichen Überprüfung
Wir tun NICHT: ❌ Alle Konversationen in Echtzeit überprüfen ❌ Jede KI-Interaktion manuell überwachen ❌ Alle Tagebucheinträge lesen (standardmäßig privat) ❌ 24/7 menschliche Moderationsabdeckung haben
Praktische Einschränkungen: • Begrenzte personelle Ressourcen • Datenschutzüberlegungen • Inhaltsvolumen ist zu hoch für 100% menschliche Überprüfung
6.4 Schulung und Unterstützung der Überprüfer
Unsere Moderatoren: ✓ Sind in Community-Richtlinien geschult ✓ Verwenden konsistente Bewertungskriterien ✓ Folgen internen Moderationshandbüchern ✓ Haben Zugang zu Wellness-Unterstützung (zur Burnout-Prävention durch Überprüfung schädlicher Inhalte)
6.5 Datenschutz bei der Überprüfung
• Überprüfer sehen nur Inhalte, die für die Bewertung notwendig sind • Personenbezogene Daten werden wo möglich minimiert • Überprüfer sind zur Vertraulichkeit verpflichtet • Daten werden gemäß Datenschutzrichtlinie behandelt
PROAKTIVE VS. REAKTIVE MODERATION
7.1 Proaktive Moderation
Wir handeln proaktiv: ✓ Stichprobenartige zufällige Konversationen für Qualitätschecks ✓ Verwenden automatisierte Systeme zur Mustererkennung ✓ Überwachen auf neu auftretende Bedrohungen oder Trends ✓ Überprüfen Hochrisiko-Inhaltskategorien genauer ✓ Aktualisieren Filter basierend auf neuen Risiken
Zweck: • Verstöße erfassen, bevor sie gemeldet werden • Automatisierte Systeme verbessern • Systemische Probleme identifizieren
7.2 Reaktive Moderation
Wir handeln reaktiv: ✓ Reagieren auf Nutzermeldungen ✓ Untersuchen gekennzeichnete Inhalte ✓ Bearbeiten spezifische Beschwerden ✓ Bearbeiten Einsprüche
Zweck: • Community befähigen, bei der Moderation zu helfen • Probleme ansprechen, die Nutzern wichtig sind • Opfern Rechtsmittel bieten
7.3 Balance
• Proaktiv: Verhindert Schäden, bevor sie sich verbreiten • Reaktiv: Respektiert Privatsphäre und Community-Input • Wir balancieren beide Ansätze
NUTZERMELDUNGEN
8.1 Bedeutung von Nutzermeldungen
• Sie sind unsere erste Verteidigungslinie • Sie sehen Inhalte, die wir möglicherweise übersehen • Community-Meldungen helfen uns, die Moderation zu skalieren
8.2 Wie man meldet
Siehe Community-Richtlinien Abschnitt 11 für vollständige Meldeanweisungen.
Kurzzusammenfassung: 📧 E-Mail: giomind.app@gmail.com Betreff: "Verstoß melden"
Oder verwenden Sie die In-App-Meldung (falls verfügbar).
8.3 Was nach Ihrer Meldung passiert
Empfang: Wir erhalten und protokollieren Ihre Meldung
Triage: Wir bewerten Dringlichkeit und Priorität
Überprüfung: Ein menschlicher Moderator überprüft den Inhalt
Maßnahme: Wir ergreifen angemessene Maßnahmen (falls Verstoß bestätigt)
Feedback: Sie erhalten möglicherweise eine Bestätigung (je nach Fall)
Zeitrahmen: • Hohe Priorität (CSAM, Gewalt): Sofort (innerhalb von Stunden) • Mittlere Priorität: 24-48 Stunden • Niedrige Priorität: Innerhalb von 7 Tagen
8.4 Meldequalität ist wichtig
Gute Meldungen: ✓ Klare Beschreibung des Verstoßes ✓ Spezifischer Ort/Zeit ✓ Screenshots oder Beweise ✓ Ehrlich und genau
Schlechte Meldungen: ❌ Vage oder unklar ❌ Falsch oder böswillig ❌ Leichtfertige oder Spam-Meldungen
8.5 Falschmeldungen
• Missbrauch des Meldesystems ist verboten • Wiederholte Falschmeldungen können zu Kontomaßnahmen führen • Melden Sie ehrlich und in gutem Glauben
INHALTSENTFERNUNG UND MASSNAHMEN
9.1 Mögliche Maßnahmen
Wenn Verstöße bestätigt werden, können wir:
Maßnahmen auf Inhaltsebene: • Inhalte entfernen oder verbergen • Warnhinweise hinzufügen • Sichtbarkeit von Inhalten einschränken
Maßnahmen auf Kontoebene: • Warnung aussprechen • Konto vorübergehend sperren • Konto dauerhaft sperren • Bestimmte Funktionen einschränken
Andere Maßnahmen: • An Strafverfolgungsbehörden melden (falls illegal) • An KI-Anbieter melden (für deren Aufzeichnungen) • Filter aktualisieren, um ähnliche Inhalte zu verhindern
9.2 Maßnahmenkriterien
Wir berücksichtigen: • Schwere des Verstoßes • Verlauf des Nutzers • Absicht (böswillig vs. versehentlich) • Auswirkungen auf andere • Gesetzliche Anforderungen
9.3 Mitteilung von Maßnahmen
Sie werden benachrichtigt, wenn: • Ihr Inhalt entfernt wird • Ihr Konto eine Warnung oder Sperrung erhält • Maßnahmen zu Ihrer Meldung ergriffen werden (manchmal)
Benachrichtigung beinhaltet: • Welche Maßnahme ergriffen wurde • Grund für die Maßnahme • Wie man Einspruch einlegt (falls zutreffend)
9.4 Transparenz bei der Durchsetzung
• Wir bemühen uns, unsere Entscheidungen zu erklären • Einige Maßnahmen können nicht offengelegt werden (rechtliche/Datenschutzgründe) • Wir veröffentlichen allgemeine Moderationsstatistiken (wenn machbar)
TRANSPARENZ UND RECHENSCHAFTSPFLICHT
10.1 Transparenzbericht (Zukünftig)
Wir können regelmäßige Transparenzberichte veröffentlichen, die Folgendes enthalten: • Anzahl der eingegangenen Meldungen • Arten von Verstößen • Ergriffene Maßnahmen • Ergebnisse von Einsprüchen • Systemverbesserungen
10.2 Externe Prüfung und Forschung
• Wir können externe Prüfer beauftragen, Moderationspraktiken zu überprüfen • Wir unterstützen unabhängige Forschung zur Plattformsicherheit • Wir sind offen für Feedback und Verbesserungen
10.3 Öffentliches Engagement
• Wir begrüßen Feedback zu Moderationsrichtlinien • Wir können Nutzer oder Experten zu Richtlinienaktualisierungen konsultieren • Wir verpflichten uns zu kontinuierlicher Verbesserung
10.4 Rechenschaftspflicht gegenüber Regulierungsbehörden
• Wir erfüllen gesetzliche Meldepflichten (z.B. DSA) • Wir arbeiten mit Strafverfolgungsbehörden zusammen, wenn gesetzlich vorgeschrieben • Wir reagieren auf behördliche Anfragen
GRENZEN DER MODERATION
⚠️ WICHTIG – MODERATION IST NICHT PERFEKT ⚠️
11.1 Wir können nicht alles erfassen
Trotz unserer Bemühungen: ❌ Einige schädliche Inhalte können durchrutschen ❌ Automatisierte Systeme haben falsch-negative Ergebnisse ❌ Geschickte Umgehungsversuche können erfolgreich sein ❌ Menschliche Überprüfung kann nicht alle Inhalte abdecken ❌ Kontext kann missverstanden werden
11.2 Falsch-positive und falsch-negative Ergebnisse
Falsch-positive Ergebnisse: • Sichere Inhalte fälschlicherweise gekennzeichnet/entfernt • Wir arbeiten daran, diese zu minimieren • Sie können Einspruch einlegen
Falsch-negative Ergebnisse: • Schädliche Inhalte fälschlicherweise zugelassen • Wir arbeiten daran, diese zu reduzieren • Melden Sie sie, wenn Sie sie sehen
11.3 Keine Sicherheitsgarantie
⚠️ Wir garantieren KEINE vollständig sichere oder schadensfreie Umgebung ⚠️ Sie können auf Inhalte stoßen, die Sie stören oder verärgern ⚠️ Sie nutzen GioMind auf eigenes Risiko
11.4 Technische Einschränkungen
• KI ist unvollkommen und entwickelt sich weiter • Moderationstechnologie hat Grenzen • Neue Arten von Schäden entstehen ständig • Wir sind immer im Rückstand
11.5 Ihre Verantwortung
• Sie sind für Ihre eigene Sicherheit verantwortlich • Nutzen Sie Ihr Urteilsvermögen beim Umgang mit Inhalten • Melden Sie Verstöße, wenn Sie sie sehen • Hören Sie auf, Funktionen zu nutzen, die Stress verursachen
IHRE ROLLE BEI DER SICHERHEIT
🤝 WIR BRAUCHEN IHRE HILFE 🤝
12.1 Seien Sie ein verantwortungsbewusster Nutzer
✓ Befolgen Sie die Community-Richtlinien ✓ Erstellen Sie keine schädlichen Inhalte ✓ Missbrauchen Sie keine KI-Funktionen ✓ Respektieren Sie andere
12.2 Melden Sie Verstöße
✓ Melden Sie schädliche Inhalte, wenn Sie sie sehen ✓ Melden Sie KI-Fehlfunktionen oder unangemessene Antworten ✓ Melden Sie Fehler oder Sicherheitsprobleme
12.3 Geben Sie Feedback
✓ Sagen Sie uns, wie wir uns verbessern können ✓ Teilen Sie Ideen für bessere Sicherheitsfunktionen ✓ Helfen Sie uns, die Bedürfnisse der Nutzer zu verstehen
12.4 Kümmern Sie sich um sich selbst
✓ Hören Sie auf, GioMind zu nutzen, wenn es Stress verursacht ✓ Suchen Sie bei Bedarf professionelle Hilfe ✓ Verlassen Sie sich nicht auf GioMind für sicherheitskritische Bedürfnisse
EINSPRÜCHE UND FEEDBACK
13.1 Einspruchsverfahren
Wenn Sie mit einer Moderationsentscheidung nicht einverstanden sind: • Siehe Community-Richtlinien Abschnitt 12 für das Einspruchsverfahren • E-Mail: giomind.app@gmail.com • Betreff: "Einspruch – [Konto-E-Mail]"
13.2 Feedback zur Moderation
Für allgemeines Feedback: 📧 E-Mail: giomind.app@gmail.com Betreff: "Moderations-Feedback"
Wir überprüfen und berücksichtigen alle Rückmeldungen.
ÄNDERUNGEN DIESER RICHTLINIE
14.1 Aktualisierungen
Wir können diese Richtlinie zur Inhaltsmoderation aktualisieren, um: • Neue Moderationstechnologien zu reflektieren • Aufkommende Bedrohungen anzugehen • Gesetzliche Anforderungen zu erfüllen • Klarheit oder Effektivität zu verbessern
14.2 Benachrichtigung
• Aktualisierte Richtlinie wird in der App veröffentlicht • Wesentliche Änderungen werden per E-Mail oder In-App-Benachrichtigung mitgeteilt • Fortgesetzte Nutzung gilt als Akzeptanz
📋 ZUSAMMENFASSUNG – WIE WIR MODERIEREN
Systeme: • Automatisierte Filter (vor und nach KI) • KI-Anbieter-Sicherheitssysteme • Menschliche Überprüfung (bei Bedarf) • Nutzermeldungen
Was wir moderieren: • Illegale Inhalte (Null-Toleranz) • Schädliche Inhalte (Hass, Gewalt, Belästigung) • Gefährliche Fehlinformationen • Unangemessene KI-Nutzung • Plattformmissbrauch
Einschränkungen: • Kann nicht alles erfassen • Falsch-positive und -negative Ergebnisse treten auf • Keine Garantie für vollständige Sicherheit
Ihre Rolle: • Richtlinien befolgen • Verstöße melden • Feedback geben
Einsprüche: • Sie können gegen Moderationsentscheidungen Einspruch einlegen • E-Mail: giomind.app@gmail.com
🛡️ UNSERE VERPFLICHTUNG
Wir verpflichten uns zu: ✓ Aufrechterhaltung einer sicheren Plattform ✓ Transparenten Moderationspraktiken ✓ Kontinuierlicher Verbesserung ✓ Ausgewogenheit zwischen Sicherheit und Nutzerfreiheit ✓ Rechenschaftspflicht gegenüber Nutzern und Regulierungsbehörden
Vielen Dank, dass Sie uns helfen, GioMind sicher und unterstützend zu halten.
📧 KONTAKT
Fragen oder Bedenken zur Inhaltsmoderation: E-Mail: giomind.app@gmail.com Betreff: "Frage zur Inhaltsmoderation"
Zuletzt aktualisiert: 1. Dezember 2025
© 2025 GioMind. Alle Rechte vorbehalten.