unstructured-inference开源项目 – 非结构化数据预处理工具

Ask On Data 是一款基于AI的开源聊天式ETL工具，旨在简化数据迁移、清洗和分析，利用自然语言处理技术，让各类用户都能轻松使用。

Vector Hub 是一个易于发现和使用最先进模型的库，旨在将各种类型的数据（如文本、图像、视频、图等）转换为向量。它支持多种转换任务，包括文本到向量（text2vec）、图像到向量（image2vec）、视频到向量（video2vec）和图到向量（graph2vec）。此外，它还集成了流行的模型如 BERT 和 Inception，方便用户快速应用于自然语言处理、计算机视觉、视频分析和图机器学习等领域。

ChatLM-mini-Chinese是一个中文对话0.2B小模型，旨在整理生成式语言模型的训练流程，包括数据清洗、tokenizer训练、模型预训练、SFT指令微调、RLHF优化等。

一个用于数据特征融合的项目，允许用户修改数据而无需更改逻辑，旨在提升数据处理效率和用户体验。

一个由AI驱动的数据科学团队，旨在帮助你以更快的速度完成常见的数据科学任务，比如数据清洗、特征工程等，就像是拥有一支数据科学的“私人部队”

Amphi-ETL是一款低代码ETL工具，适用于处理结构化和非结构化数据，能够生成可部署在任何地方的Python代码。它提供了灵活的数据集成、转换和清洗功能，支持自动化ETL工作流，并能高效处理大规模数据集。

Wikipedia-Utils是一个专门为自然语言处理设计的工具，旨在高效地对维基百科文本进行预处理。它支持多种文本处理功能，能够处理大规模的维基百科数据，并且易于集成到现有的自然语言处理工作流中。该工具还提供丰富的API接口，方便用户根据需求进行定制化操作。

CyberChef是一个强大的工具，用于数据转换、编码、解码以及各种网络安全相关的操作。它支持多种数据格式，提供丰富的加密和解密功能，内置多种数据分析工具，并拥有用户友好的图形化操作界面，兼容多种浏览器，适合网络安全专家和开发者使用。

Streamdal是一个开源项目，提供实时数据观察、数据治理与执行、数据质量监控以及数据转换、模糊化、遮蔽等功能，旨在帮助用户高效管理和处理数据。

chinese2digits 是一个高效的中文转阿拉伯数字的工具，支持多种中文数字表达形式，适合集成到各种NLP项目中。

sliceguard 是一个用于检测结构化和非结构化数据中问题片段的库，只需少量代码即可实现。支持图像、文本、音频等多种非结构化数据，并能够生成交互式报告，快速识别数据中的问题。

PandasAI是一个开源库，基于Pandas构建，允许以对话方式轻松与数据框进行交互。

DevToys是一款集成多种开发工具的应用，旨在为开发者提供便捷的工具集，帮助他们在日常开发中快速完成各种任务。它支持通过Microsoft Store安装，界面简洁易用，适用于多种开发场景。

用于构建复杂 LLM(大型语言模型)驱动的文档处理管道系统，通过简单的YAML配置即可实现复杂的数据处理流程，特别适合处理大量文档或非结构化数据集

Ainsys是一个提供无缝数据集成和同步的平台，可以将来自各种来源的数据集中到一个数据仓库中，用户无需技术专长即可轻松连接和访问数据。通过Ainsys，用户可以轻松转换和精炼数据，将其导出到所需工具中，并为业务获得有价值的洞察。