登录
账号入口登录后才能看到真实项目、任务、报告和通知。没有登录时不要判断页面是否为空。
标准操作
- 打开登录页。
- 输入管理员或培训账号邮箱。
- 输入密码并提交。
- 登录成功后进入仪表盘。
验收标准
- 页面跳转到
/dashboard。 - 左侧导航显示业务域、全局中心、工程中心。
- 仪表盘可以看到采集、情报或报告数据。
这份手册面向培训和日常使用。它把网站每个页面讲成一套清楚的操作 SOP: 先看工具和方法,再建项目、接数据源、跑任务、看原始证据、产出情报,最后生成报告、预警和通知。
不要把这个网站当成普通内容站。它的正确打开方式是:先确认数据链路是否有内容,再围绕一个采集主题完成从工具学习到报告交付的闭环。
进入 /login,使用管理员或培训账号登录。账号由管理员提供,不在手册中写入密码。
进入 /dashboard,确认任务、数据源、信号、情报、报告都有数据。这里是判断系统是否正常的第一站。
按“工具库 → 项目 → 数据源 → 任务 → 原始数据 → 情报 → 报告”的顺序演示,学员最容易理解。
网站的价值不是单个页面,而是这些页面连起来形成一条可追溯的数据采集工作流。
用来培训“该选什么工具、怎么安装、怎么验收、哪里不能做”。
用来把一个采集主题变成可以持续运行的数据链路。
用来解释“为什么这条变化值得关注”,并保留证据。
用来把结论送到人手里,并留下阅读、发送和预警记录。
下面每个模块都按同一套方式说明:这个页面解决什么问题、怎么操作、验收什么结果。
登录后才能看到真实项目、任务、报告和通知。没有登录时不要判断页面是否为空。
/dashboard。用于快速判断整套系统是否稳定:有没有任务、有没有新鲜数据、有没有情报和报告。
告诉学员:仪表盘不是结论本身,而是“今天先看哪里”的导航盘。看到异常后,要继续进入任务、信号或情报详情。
集中展示 AI 采集工具、Agent 浏览器、爬虫框架、RPA、平台采集方法和风险边界。
把工具雷达、平台方法、风险边界和课堂讲义组织成一套可交付课程。
项目定义了要长期跟踪的主题,例如开源工具雷达、竞品网站采集、平台方法库。
数据源记录不同平台和采集方法的接入配置。没有数据源,就不会有任务和原始数据。
采集任务展示每个数据源的调度状态、最近运行、失败原因和新鲜度。
任务页负责回答“数据为什么没进来”。它不是情报页,而是运行排障页。
保留采集返回的事实、来源 URL、内容哈希和时间戳。后续实体、信号和报告都要能追到这里。
不要把原始数据直接当最终结论。它只是证据,需要经过实体标准化、信号检测和情报判断。
实体是持续追踪的对象,例如一个 GitHub 仓库、一个品牌、一个商品、一个网站。
信号由快照变化、指标阈值或规则匹配触发,用来筛选值得进入情报层的变化。
信号页讲的是“变化发生了”。情报页讲的是“这个变化意味着什么”。
情报把信号转化为可阅读的判断,并保留证据数量、业务域、状态和可追溯来源。
报告中心把情报、证据引用和派发状态整理成可培训、可分发、可审计的日报和周报。
预警中心展示信号规则、触发事件和交付状态,用于追踪哪些变化需要主动提醒。
站内通知收敛报告派发、预警触达和训练工作台状态,帮助确认系统消息是否送达。
每天培训或运营开始前先清一遍通知,确认昨天的报告、预警和任务状态是否已送达。
业务域页面把不同采集场景聚合起来,适合培训时按主题讲解。
培训时不要只背工具名。先判断场景,再选工具。
| 类别 | 适合场景 | 网站里怎么看 | 边界 |
|---|---|---|---|
| AI 原生采集 | 把网页转成 Markdown、JSON、结构化信息。 | 工具库搜索 Firecrawl、Crawl4AI、ScrapeGraph AI、AgentQL。 | 先确认授权和字段契约。 |
| 浏览器自动化 | 需要真实浏览器执行 JS、点击、滚动、截图。 | 工具库查看 Playwright、Puppeteer、Browser Use、Stagehand。 | 不要绕过登录墙、验证码和风控。 |
| Agent 浏览器 | 让 AI 执行网页任务、拆解流程、辅助调研。 | 工具库查看 Nanobrowser、Browser Use、Skyvern 等。 | 必须限制任务范围和数据输出。 |
| RPA / no-code | 业务人员录制流程、处理重复网页操作。 | 工具库查看影刀 RPA、Power Automate 等类别。 | 适合稳定流程,不适合复杂反复变化页面。 |
| 专业爬虫框架 | 长期生产采集、队列、重试、导出。 | 工具库查看 Scrapy、Colly、Katana、Heritrix。 | 需要工程维护和合规审查。 |
| 网站侦察与预检 | 采集前看 DNS、技术栈、robots、安全声明、页面结构。 | 工具库查看 Web-Check、授权 URL 预检、浏览器实验室。 | 只做公开信息诊断,不做攻击。 |
| MCP / Agent 接入 | 把数据源或工具接到 AI 助手和 Agent 工作流。 | 工具库查看 MCP、Agent skill、工具标准化内容。 | 注意凭据、权限和审计日志。 |
| 现象 | 先检查 | 下一步 |
|---|---|---|
| 登录失败 | 账号、密码、网络、Cookie。 | 联系管理员重置账号,不在群里公开密码。 |
| 页面看起来为空 | 是否已登录;项目、数据源、任务是否有数据。 | 进入仪表盘看全局指标,再去任务页查运行状态。 |
| 任务不运行 | 数据源是否启用;任务是否暂停;最近错误。 | 修数据源配置,或检查调度器状态。 |
| 没有原始数据 | 任务是否有成功运行;数据源类型是否正确。 | 从任务详情回溯到数据源。 |
| 没有情报 | 是否有实体和信号;信号严重度是否达到规则。 | 检查信号中心,再看情报生成逻辑。 |
| 报告未生成 | 报告中心生成项目、周期、报告队列状态。 | 手动生成日报,再检查报告详情。 |
| 邮件未发送 | 报告中心邮件通道诊断和订阅规则。 | 先确认站内通知是否送达,再查 SMTP 配置。 |
| 预警没有触发 | 规则条件、Signal Type、Field、Op、Value。 | 用培训模板测试一条高风险信号。 |