✂Text Splitter
Lädt...
Verarbeiten Sie CSV-Daten, Logs oder Listen. Teilen Sie Texte auf, entfernen Sie Dubletten und exportieren Sie als JSON-Array.
Anleitung
- 1Text eingeben
Fügen Sie den Text ein oder laden Sie ein Beispiel.
- 2Trennzeichen wählen
Wählen Sie Komma, Tabulator, Zeilenumbruch etc. oder ein eigenes Zeichen.
- 3Optionen konfigurieren
Nutzen Sie Trim, leere Zeilen entfernen oder Deduplizierung.
- 4Ergebnisse nutzen
Filtern Sie die Liste oder sortieren Sie sie. Exportieren Sie als Text oder JSON.
Tipps
- 💡Teilen Sie CSV-Zeilen, um einzelne Spalten zu prüfen.
- 💡Nutzen Sie die Deduplizierung, um in einem Klick eine Liste mit Unikaten zu erhalten.
- 💡Kopieren Sie den JSON-Array-Output direkt in Ihren Code.
- 💡Nutzen Sie die Suche, um gezielt Elemente in großen Listen zu finden.
Häufige Fragen
- Q. Warum ist Text-Splitting für LLMs wichtig?
- A. LLMs haben ein begrenztes Kontextfenster. Für RAG-Systeme müssen lange Dokumente in Abschnitte aufgeteilt werden, die in dieses Fenster passen.
- Q. Wie wähle ich die richtige Chunk-Größe?
- A. Typische Größen: 256-1024 Tokens. Zu klein verliert Kontext; zu groß mischt irrelevante Informationen. Experimentieren Sie je nach Dokumenttyp.
- Q. Was ist Überlappung (Overlap) und wozu dient sie?
- A. Es ist die Anzahl der Tokens, die zwischen aufeinanderfolgenden Chunks geteilt werden. Verhindert, dass wichtige Informationen an der Grenze abgeschnitten werden, und verbessert die RAG-Abrufqualität.