✂Diviseur de Texte

Chargement...

Transformez une liste brute ou un fichier de log en une série d'éléments manipulables.

1
Saisie
Collez le texte à traiter.
2
Délimiteur
Indiquez si vous voulez couper par virgule, espace, tabulation ou un caractère spécial.
3
Nettoyage
Activez 'Deduplicate' pour supprimer les doublons et 'Trim' pour enlever les espaces inutiles.

💡Utilisez la recherche intégrée pour filtrer les éléments contenant un mot-clé précis.
💡Exportez le résultat final sous forme de tableau JSON pour l'intégrer directement dans votre code.
💡Pratique pour extraire rapidement une colonne d'un fichier CSV collé.

Q. Pourquoi la division de texte est-elle importante pour les LLMs ?: A. Les LLMs ont une fenêtre de contexte limitée. Pour les systèmes RAG, les longs documents doivent être divisés en fragments qui tiennent dans cette fenêtre.
Q. Comment choisir la bonne taille de fragment ?: A. Les tailles typiques vont de 256 à 1024 tokens. Trop petit perd le contexte ; trop grand mélange des informations non pertinentes. Expérimentez selon le type de document.
Q. Qu'est-ce que le chevauchement (overlap) et à quoi sert-il ?: A. C'est le nombre de tokens partagés entre fragments consécutifs. Évite que des informations clés soient coupées à la limite et améliore la qualité de récupération dans le RAG.