FLEAN-FDE / DOCUMENT
以下正文由 docs/08-来源索引与抓取说明.md 直接渲染。相关概念与官网链接放在正文之外,Markdown 原文未被修改。

08 · 来源索引与抓取说明

1. 核心来源

代号 页面 本知识库主要引用内容
S1 https://www.leanfde.com/ FDE 核心命题、工作闭环、角色边界、FAQ
S2 https://www.leanfde.com/fde FDE 总览、结果标准和责任闭环
S3 https://www.leanfde.com/fde/theory FDE 定义、全球范式、传统岗位边界
S4 https://www.leanfde.com/fde/methodology LDO、六定、六化、十要素、双闭环
S5 https://www.leanfde.com/fde/delivery 前后台模型、八步交付、项目治理
S6 https://www.leanfde.com/training 六周训战、九能力域、课程母架构、工具与验收
S7 https://www.leanfde.com/lean-sim Lean SIM、八步闭环、十二件套、S0–S5
S8 https://www.leanfde.com/fde/organization 三层组织模型、90 天转型
S9 https://www.leanfde.com/fde/talent C6、人才库、四级能力成熟度、招聘任务
S10 https://www.leanfde.com/fde/certification L0–L6、三评认证、Portfolio 证据
S11 https://www.leanfde.com/products 课程产品与公开边界
S12 https://www.leanfde.com/enterprise 企业合作、Pod/陪跑/资产沉淀
S13 https://www.leanfde.com/fde/founder 方法来源与创始人公开介绍
S14 https://www.leanfde.com/group-camp 客户端渲染的六周课程概要与交付包

2. 抓取覆盖

  • 从首页递归发现同域 HTML 页面:19 个。
  • HTTP 200:19 个。
  • 有服务端公开正文的主要页面:14 个,加首页共 15 个。
  • group-camp 的服务端 HTML 只有加载提示,另用真实浏览器保存客户端渲染后的公开文本。
  • assessmentassessment/lean-fde 和三条 courses/* 页面在未登录浏览器中跳转登录;本项目保留公开壳页面,但没有绕过登录。

完整机器可读记录见:

  • ../sources/manifest.json
  • ../sources/manifest.csv
  • ../sources/raw-html/
  • ../sources/clean-text/
  • ../sources/rendered-text/

每条记录包含 URL、最终 URL、状态码、标题、文本长度、抓取时间、文件路径和原始 HTML 的 SHA-256。

3. 站点边界

  • 本次访问时 robots.txtsitemap.xml 均返回 404。
  • 爬虫限速,默认请求间隔 0.6 秒。
  • 只抓同域、公开、无需登录的 HTML。
  • 跳过 /api//_next/、登录、注册和二进制资源。
  • 不提交联系/报名/支付表单,不抓取个人信息,不绕过权限。

4. 解释限制

  1. 官网存在营销页、课程页、方法页等不同表达,术语和等级可能属于不同维度;本知识库已尽量拆分,但不能替代官方解释。
  2. 官网提到“十动作”“20 SOP”“25+ 模板”等完整资产,匿名访客页面没有公开全部原文;本知识库没有伪造其官方内容。
  3. 本知识库的六道 Gate、工程参考架构、指标树和 20 类模板是基于公开方法的二次操作化归纳,已与官网原始框架区分。
  4. 认证、人才推荐、课程和价格可能变化,使用前应回到官网核验。
  5. 站点材料中的外部公司、人物、奖项和方法来源,本项目未做独立事实核查。

5. 可复现命令

python -m pip install -r requirements.txt
python scripts/crawl_leanfde.py --output sources --delay 0.6

客户端渲染页面使用 Playwright 浏览器快照保存;账号后页面未采集。