智源联合共建单位开源可信中文互联网语料库CCI_智源官网

11月29日 消息:智源研究院联合拓尔思、中科闻歌共建了 “中文互联网语料库”（CCI），旨在为大数据和人工智能行业提供安全、可靠的语料资源。

该语料库经过严格的筛选和清洗，包括基于规则和模型的过滤，以及针对评测数据集的严格过滤。首期开放的数据规模为104GB，时间跨度为2001年至2023年。

图源备注：图片由AI生成，图片授权服务商Midjourney

智源研究院表示，将继续扩充数据来源、完善数据处理流程，提供更多高质量、可信的数据资源。

同时，智源研究院还开放了其他高质量中文数据集，如 WUDAO copora、COIG 和 MTP。

下载地址:

• 智源开放数据仓库: https://data.baai.ac.cn/details/BAAI-CCI

• HuggingFace:https://huggingface.co/datasets/BAAI/CCI-Data