✂文本分割器
加载中...
轻松地按您选择的分隔符分割 CSV 数据、日志文件、列表和任何其他文本。过滤并排序分割后的项目，删除重复项，转换为 JSON 数组，或使用不同的分隔符重新连接。所有处理均在浏览器中运行。
使用说明
- 1输入文本
粘贴或键入要分割的文本。
- 2选择分隔符
从换行符、逗号、分号、空格、制表符或管道符中选择，或输入自定义分隔符。
- 3配置选项
根据需要切换“修剪空白”、“移除空项”和“去重”。
- 4使用结果
浏览分割后的项目列表，进行搜索过滤和排序。可复制为连接后的字符串或 JSON 数组。
小技巧
- 💡按逗号分割 CSV 行，以快速检查各个列的值。
- 💡使用“去重”功能一键获取唯一值列表。
- 💡复制 JSON 数组输出并直接粘贴到代码中。
- 💡使用过滤器搜索功能查找包含特定关键字的项目。
常见问题
- Q. 文本分割在LLM中为什么重要？
- A. 大型语言模型（LLM）有固定的上下文窗口，一次只能处理有限数量的令牌。RAG系统需要将长文档分割成适合的大小块。
- Q. 如何选择合适的块大小？
- A. 通常分割为256-1024个令牌。太小会丢失上下文，太大会混入无关信息。根据文档类型和使用目的实验调整。
- Q. 什么是重叠（Overlap），为什么需要它？
- A. 重叠是相邻块之间共享内容的选项。即使文本在块边界被截断，下一个块也能继续保持上下文，提高RAG的检索质量。