LinkedIn 数据抓取：法律风险、工具与最佳实践

LinkedIn 坐拥 13 亿注册用户，对招聘和人力资源团队而言，这是一座专业数据的富矿；企业可借此监测竞争对手，销售团队则可用来挖掘潜在决策者。

但要获取这一社交网络的数据并不容易。由于商业应用价值极高，LinkedIn 数据抓取一直是业内热议的话题。

此外，已有不少公司抓取过 LinkedIn 数据，其中部分甚至因此对簿公堂，本文将对此一一说明。

抓取 LinkedIn 个人资料的难度众所周知。为帮助您更好地理解，本文将提供实用、合法且基于工具的建议。

同样重要的是理解合乎伦理地使用 LinkedIn 数据的意义。全球各地的个人数据保护法规都对其加以保护，LinkedIn 数据抓取者必须遵守这些规定。

什么是 LinkedIn 数据抓取？

LinkedIn 数据抓取是指使用 LinkedIn 数据抓取工具自动从该网站提取数据的过程。您可以提取以下类型的数据：

• 公司主页（名称、规模、所属行业、简介）

• 职位列表（职位描述、发布日期、申请人数、薪资）

• 个人资料信息（姓名、所在地、教育背景、技能、工作经历）

• 动态信息流（帖子、文章、互动、评论）

• 群组与社区（名称、成员数、帖子、活动）

这份清单并不完整，但足以让您大致了解 LinkedIn 的数据类型。

值得一提的是，使用 API（应用程序编程接口）是另一种数据提取方式。API 是一套规则，可让两个不同的应用程序相互通信，在许多情况下能实现两个平台之间的顺畅数据共享。

LinkedIn 提供多种 API，但限制较多。其“Consumer API”本质上只是一个“使用 LinkedIn 登录”工具；“Apply Connect API”则允许用户无需离开 LinkedIn 网站即可发布职位或申请职位。

此外还有更多 API，但都高度专用，与大规模抓取 LinkedIn 个人资料完全是两回事。

为什么要抓取 LinkedIn 数据？

LinkedIn 汇聚了企业、CEO、员工、群组和招聘机构等各类信息，其中许多还以各种形式分享市场数据。对营销人员而言，从 LinkedIn 抓取的数据能带来诸多可能性。

市场研究人员借助 LinkedIn 数据追踪人才流动、监测竞争对手、把握行业整体发展趋势，进一步还可预判企业的增长态势与战略方向，并一窥支撑这些战略的团队构成。

招聘人员从 LinkedIn 数据抓取中获益巨大。与其逐一翻阅成千上万份个人资料，不如将这一过程自动化，从而联系到具备所需技能和经验的员工，即便对方当下并未求职。

再来看销售场景：销售团队利用 LinkedIn 数据梳理企业结构、收集联系方式、锁定决策者；外联人员则据此撰写精准的开场白，个性化定制信息以开启沟通。

以 PhantomBuster 这类公司为例，其 LinkedIn 主页上的简介写道：

“发现并触达意向客户的简便方式。”

其最常见的使用场景包括：从 LinkedIn 帖子中提取销售线索，以及将 LinkedIn 搜索结果抓取至电子表格中。

像这样采集并提供 LinkedIn 抓取数据访问权限，正是此类公司的商业模式所在，这也引出了下一个话题：获取 LinkedIn 个人资料数据的合法性问题。

抓取 LinkedIn 数据合法吗？

关于 LinkedIn 数据抓取乃至网络数据抓取整体合法性的简短回答是：视情况而定。这取决于您提取数据的方式和内容、数据的用途，以及您是以登录状态定向抓取 LinkedIn 个人资料，还是仅限于公开信息范围。

LinkedIn 的服务条款

LinkedIn 在其服务条款（ToS）中明确规定，不允许任何形式的自动化数据提取。未经授权抓取 LinkedIn 个人资料将导致账户被封禁，甚至面临法律诉讼。

该社交网络还会主动防范 LinkedIn 数据抓取行为。一旦识别出发送并发请求或同时访问多个个人资料等机器人活动，便会限制访问权限。

然而从另一个角度看，LinkedIn 的服务条款终究只是私营企业自定的规则。实际上，法院已多次裁定：抓取公开可访问的网络数据是被允许的。这正是 hiQ Labs 诉 LinkedIn Corp.案的核心争议，也由此成为网络数据抓取合法性的基石性案例。

hiQ Labs 诉 LinkedIn Corp. 案

hiQ 自2012年起开始抓取 LinkedIn 页面。这家数据分析公司利用抓取的数据绘制技能缺口图谱、预测员工流失情况。LinkedIn 随即采取反制措施，事件经过如下：

• 2012年：hiQ 开始悄然抓取 LinkedIn 个人资料；

• 2017年：LinkedIn 援引《计算机欺诈与滥用法》（CFAA）发出停止侵权函；

• 2017年：hiQ 随即对 LinkedIn 提起诉讼；

• 2017年：法院裁定支持 hiQ，允许抓取公开网页，LinkedIn 提起上诉；

• 2019年：上诉法院维持原判，支持网络数据抓取；

• 2020年：LinkedIn 将案件上诉至美国最高法院；

• 2021年：最高法院将案件发回重审；

• 2022年：法院再次裁定抓取公开数据仍属合法，但 LinkedIn 证明 hiQ 违反了其服务条款，最终胜诉。

这场反复拉锯的裁决并未给出最终定论，而是形成了关于数据提取的两条规则：

1. 抓取公开可访问的数据是被允许的，并不违反 CFAA 原则；
2. 先注册 LinkedIn 账户、接受其服务条款，之后又违反该条款去抓取 LinkedIn 个人资料，这种做法不被允许，且需承担民事责任。

由于 hiQ 注册了 LinkedIn 账户，却以违反 LinkedIn 服务条款的方式使用，最终败诉。但法院确立了持续适用至今的裁决原则：允许抓取公开网页数据。

最新法律动态

在近期一起案件中，美国法院再次重申抓取公开数据的合法性。

2023年，Meta 起诉代理及数据分析公司 Bright Data，指控其抓取 Meta 的公开个人资料。法官裁定 Bright Data 胜诉，原因是该公司并未登录 Meta 账户，也无需接受其服务条款。

但眼下真正的激烈交锋，发生在用于 AI 训练的数据提取领域。生成式 AI 对海量信息的需求巨大，而网络数据抓取正是获取这些信息的高效途径。

规范 AI 训练数据提取的法律非常新。我们引用的《欧洲数据保护委员会文件》，在本文撰写前仅两个月才正式通过。

我们建议完整阅读该文件，但这里列出三项适用于抓取个人 LinkedIn 资料的关键要点：

1. 数据采集必须服务于正当利益。
2. 收集个人数据对实现该利益而言是必要的。
3. 数据采集不得违反个人数据保护法律。

这只是开始抓取数据的前提条件。企业还必须确保数据最小化、目的限制与存储限制、知情权等其他合法原则得到落实，现行数据隐私法规所涉及的内容远不止于此。

数据隐私法规

该文件参照的是欧盟《通用数据保护条例》（GDPR）。但类似法规在世界各地也已出现或正在制定，例如美国的《加州消费者隐私法案》（CCPA）、加拿大的《个人信息保护和电子文件法》（PIPEDA）等等。

我们无法在一篇文章中逐一介绍，但下表总结了几项核心原则。

抓取 LinkedIn 个人资料时，最好时刻牢记这些法规，但也要注意不同地区的规定存在差异。

例如，在美国，抓取公开可访问的个人数据通常是被允许的；而 GDPR 则要求即使数据在互联网上易于获取，收集时也必须具备合法依据。

合乎伦理的最佳实践

除了合法合规的要求外，网络数据抓取行业还存在一些约定俗成的伦理准则，以保持透明。

首先，查看并遵守 LinkedIn 的 robots.txt 文件。该文件规定了网站哪些部分对机器人开放、哪些不开放。这些规则主要针对网络爬虫，但出于伦理考量，同样应适用于数据抓取工具。

不要使用机器人批量操控虚假的 LinkedIn 个人资料。正如 hiQ 诉 LinkedIn 一案所示，这是高风险行为，LinkedIn 有权对此采取法律行动。

确保您的 LinkedIn 数据抓取工具不会以过多并发请求给网站造成过大负荷。请记住，LinkedIn 对自动化数据提取的监控非常严格，建议设置合理限制，例如每天抓取约 40 个 LinkedIn 个人资料，并避免采集敏感个人数据。

最后，LinkedIn 还提供Compliance API，这是一项面向受监管行业（如医疗、法律等）的付费服务，可用于监控和归档员工的 LinkedIn 通信记录。这种方式与 LinkedIn 数据抓取有本质区别，但对符合条件的企业而言，是值得考虑的选项（不过 LinkedIn 对此设有严格的访问限制）。

技术挑战与平台防护机制

抓取 LinkedIn 数据的难度远高于普通网站，而且该平台并不直接出售 LinkedIn 数据，而是通过 LinkedIn Sales Navigator 和 LinkedIn Recruiter 等服务提供访问权限。

为了保持数据的独占性，LinkedIn 部署了多种防护机制来阻止数据抓取：首先，大量数据被置于需要登录才能访问的身份验证墙后面，这也是您在未登录状态下浏览 LinkedIn 时经常会遇到的情况。

hiQ 诉讼案表明，登录后抓取 LinkedIn 数据并不是明智的做法，但即便是抓取公开数据（例如 LinkedIn 搜索结果），您同样会遇到各种限制。

首先，LinkedIn 会监控每个 IP 地址的活动：如果并发请求过多，或 IP 信誉评分较低，LinkedIn 就会限制访问，数据中心代理同样会受到限制。高效的 LinkedIn 主页抓取工具必须依赖高质量的移动代理或住宅代理。

但这还不够，LinkedIn 还会使用请求指纹识别技术，检查每个请求的浏览器和 HTTP 请求头，未经修改的请求头会立即遭到封禁。

诸如Selenium 和 Puppeteer之类的工具会在 User-Agent 字符串中留下“HeadlessChrome”标识，同样会导致封禁。简而言之，每个请求都必须携带真实访客所具备的全部特征。

另一种 LinkedIn 数据防护手段是行为追踪：简单的抓取工具在鼠标移动、翻页、滚动等方面与真实用户的浏览行为存在明显差异，LinkedIn 会综合这些信号来识别并封禁抓取工具。

最后，LinkedIn 的网站结构复杂且大量使用 JavaScript，若要自行开发定制化抓取工具，需要具备扎实的前端知识才能准确定位所需元素。

此外，该社交平台还采用代码混淆技术，防止这些数据点被识别和定位。综合来看，这些因素使 LinkedIn 成为一个抓取难度极高的网站。

如何抓取 LinkedIn 数据

抓取 LinkedIn 数据需要考虑诸多因素。鉴于其复杂程度，本文不会从零编写抓取工具的示例代码，而是提供相关指导原则，并介绍几款可直接使用的 LinkedIn 数据抓取工具。

明确数据抓取目标

建议提前明确您要抓取的数据范围。请注意，GDPR、CCPA 等数据保护法律明确规定了哪些数据可以收集、哪些不可以，如果计划抓取个人 LinkedIn 主页信息，这一点尤为重要。

选择合适的工具

目前有许多 LinkedIn 数据抓取服务可供选择：有些是基于云端的，例如 Apify，无需安装任何软件；也有一些专门针对 LinkedIn Sales Navigator 工具开发，例如 Evaboot。

请注意，您不必完全依赖 LinkedIn 抓取工具，也可以选择直接购买现成的结构化 LinkedIn 数据。

配置代理与 User-Agent

若不使用代理，大规模抓取 LinkedIn 数据几乎无法实现。如果从单个 IP 地址发送过多数据请求，LinkedIn 会直接将其封禁，而代理可提供数千个可替换的 IP 来避免这一问题。

许多 LinkedIn 抓取服务自带代理，但这并不代表其 IP 地址质量和代理类型选择就一定出色。

例如，Apify 允许您使用自己的代理和 User-Agent，如果您已经熟悉该工具的数据抓取操作，这能让您对抓取工具拥有更强的掌控力。

提取、清洗并存储数据

按照数据保护法规的要求，仅提取必要的最少数据。抓取到的 LinkedIn 数据通常以三种格式提供：JSON、CSV 和 XLSX（Excel）。如果将这些数据保存在本地设备上，必须进行加密并采取防泄漏措施。

所选工具还应确保对数据进行清洗，包括去除重复条目、清除特殊字符和空白字符，以及拆分文本字段。

LinkedIn 数据抓取工具与平台

可供选择的 LinkedIn 抓取工具多达数十种，本文并不推荐任何特定服务，因为每家企业会根据自身需求做出选择。不过，我们将介绍其中三款代表不同抓取方式的工具。

Apify

Apify 提供用于数据提取的 API，官方称之为 actor，这些是功能、用途和定价各不相同的独立应用。

这是一种功能全面的工具，可用于抓取个人主页、企业、职位等各类 LinkedIn 数据，并提供免费试用。

Apify 仅用 20 秒就从两个公开 LinkedIn 主页中提取了数据，并提供 JSON、CSV、XML、Excel 等多种格式供下载。Apify 提供实用的 actor 使用教程，同时也支持根据需求自行定制。

优点

• 抓取速度快

• actor（抓取工具）种类丰富

• 提供免费试用

缺点

• 大规模抓取成本较高

Skrapp.io

并非所有场景都需要复杂且高度可定制的工具。我们找到了一种名为 Skrapp.io 的 B2B 邮箱查找工具，操作简单，它提供 Chrome 浏览器扩展，可在 LinkedIn 页面上直接使用，只需点击几下即可提取邮箱地址。

它的控制台操作也很简单。为了测试该工具，我们在 LinkedIn 上搜索了 Craigslist 员工的邮箱地址。

该工具共找到 64 条结果，显示了潜在客户姓名、职位、所在地和邮箱地址。学习使用 Skrapp.io 只需不到 10 分钟，可为 B2B 拓展节省大量时间。

优点

• 操作简单易用

• 提供 Chrome 浏览器扩展

• 提供免费试用

缺点

• 功能仅限于邮箱搜索

PhantomBuster

本文最后要介绍的是 PhantomBuster，这是一种专注于自动化、无需编写代码的云端平台，提供免费试用。

该工具可自动执行 LinkedIn 上的各类任务，将原本需要数天的人工操作缩短至几小时完成。要使用全部功能，需要连接 LinkedIn 账号。

随后，我们使用关键词“proxies”对应的 LinkedIn 搜索链接提取潜在客户信息，PhantomBuster 在约两分钟内收集到 30 多条与代理相关的职位和地理位置信息。

优点

• 可自动执行 LinkedIn 任务

• 无需编写代码的云端平台

• 提供免费试用

缺点

• 需要连接 LinkedIn 账号

结语：LinkedIn 数据抓取的推荐做法

通过抓取 LinkedIn 数据，企业可以实现许多目标，例如监控竞争对手动态、员工流动情况，以及行业增长趋势和技能需求变化。

合法合规地开展这项工作尤为重要。美国法院已两次裁定抓取公开数据的行为合法，但企业仍须考虑个人信息的安全与隐私，即便这些信息在网上很容易获取。

GDPR、CCPA 等数据保护法律在全球范围内保护 LinkedIn 数据，因此必须始终遵循其相关原则。

值得关注的 LinkedIn 抓取工具会综合运用多种技术来顺利获取数据：既通过速率限制避免服务器过载，也通过模拟真实用户的浏览行为规避检测和封禁。在满足各项安全要求后，营销人员便可抓取详细的主页信息，用于构建潜在客户名单等用途。

常见问题