知识卡片：使用北美行业分类系统（NAICS）对GitHub仓库进行行业分类

英文标题：Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)
英文关键词：GitHub repositories; NAICS; industry classification; retrieve-and-verify pipeline; dataset
原始来源：https://arxiv.org/abs/2607.06505v1

一句话结论

本文构建了一个高质量、人工验证的GitHub仓库行业分类数据集NAICS-GH（6,588个仓库，标记为NAICS两位数行业），并设计了一套检索-验证流水线，在人工验证样本上达到96.98%的精确率，为产业创新地理、开源软件产业构成等实证研究提供了基础资源。

事件概述或研究问题

GitHub拥有数亿公共仓库，但平台本身并未提供仓库到标准化行业分类的映射。这种缺失限制了关于创新地理分布、开源生产的产业构成以及新技术在经济部门间扩散的实证研究。本文试图填补这一空白，通过构建一个基于北美行业分类系统（NAICS 2022）的标注数据集来解决该问题。

方法/产品要点

• 数据集：NAICS-GH包含6,588个来自美国、欧盟和澳大利亚来源池的GitHub仓库，每个仓库标注了NAICS两位数行业代码。
• 流水线：采用“检索-验证”管道，由BAAI/bge-large-en嵌入、FAISS检索和GPT-4.1规则评分组成。该管道从约137万个仓库出发，筛选出31,178个候选仓库-行业对，再保留评分≥8的6,588个高置信度标签。
• 可复现性：端到端重新运行检索管道，候选集重现偏差在0.03%以内。
• 基准测试：在保留的20%测试集上，RoBERTa-large达到86.45%的F1分数和86.35%的准确率。
• 开源发布：数据集、Croissant元数据、管道代码、提示词和微调后的检查点均以CC-BY-4.0和MIT许可证发布。

主要结果或产业意义

• 人工验证随机样本（2,421个仓库）显示，已发布标签的精确率为96.98%，Wilson 95%置信区间为[96.23, 97.59]。
• 在六种预训练编码器的基准测试中，RoBERTa-large表现最佳。
• 该数据集可直接用于研究开源软件在不同产业部门的分布、技术扩散路径以及区域创新模式。

为什么重要

GitHub仓库的行业分类是连接开源软件与产业经济研究的关键桥梁。以往缺乏标准化的分类方法，导致大量基于开源活动推断经济现象的研究缺乏可靠基础。NAICS-GH提供了高精度、可复现的分类工具和公开数据集，使研究者能够大规模分析开源软件与产业创新之间的关联，对政策制定、企业竞争情报和学术研究具有重要价值。

局限与不确定性

• 数据集仅覆盖美国、欧盟和澳大利亚的仓库，全球其他地区的代表性有待验证。
• 标签仅到NAICS两位数行业级别，更细分的四/六位数行业分类尚未覆盖。
• 标注依赖GPT-4.1和检索管道，虽然经过人工验证，但可能存在系统偏差（如偏向文档丰富、描述明确的仓库）。
• 精确率虽高，但仍存在约3%的误标；召回率未在材料中明确报告。

可用于图书/PPT/简报的角度

• 产业创新地图：展示如何用开源仓库数据绘制不同行业（如软件、制造业、金融服务）的技术活动热力图。
• AI辅助数据标注：介绍检索-验证流水线的设计思路——先用嵌入检索粗筛，再用大语言模型精细评分，兼顾效率与质量。
• 开放数据生态：强调数据集以CC-BY-4.0和MIT许可证发布，鼓励复制和扩展研究。

原始材料

• 论文标题：Industry Classification of GitHub Repositories Using the North American Industry Classification System (NAICS)
• arXiv ID：2607.06505v1
• 作者：Kevin Xu, Alexander Quispe
• 发布时间：2026-07-07
• 主要类别：cs.SE
• URL：https://arxiv.org/abs/2607.06505v1
• PDF：https://arxiv.org/pdf/2607.06505v1