← 返回
未分类
妈妈网爬虫
妈妈网育儿知识爬虫(PC端)。爬取妈妈网(www.mama.cn)育儿文章,输出 Markdown 格式并存入御知库(~/.yuzhi/crawls/mama_cn/)。默认使用PC端User-Agent,按分类或关键词搜索爬取。帝说"爬取妈妈网"、"/爬虫"或需要采集育儿知识时触发。
妈妈网育儿知识爬虫(PC端),爬取mama.cn育儿文章,输出Markdown至~/.yuzhi/crawls/mama_cn/。默认PC端UA,按分类/关键词爬取。触发:帝说「爬取妈妈网」「/爬虫」或需采集育儿知识。
未分类
clawhub
v1.1.0 1 版本 100000 Key: 无需
#baby#china#crawler#knowledge#latest#mother
概述
妈妈网育儿知识爬虫(PC端)
命令
python3 scripts/mama_crawler.py --category <分类> --max-pages <页数> --max-articles <数量>
按分类爬取妈妈网文章(PC端)。
分类选项:
baby — 亲子yingyang — 营养disease — 疾病lady — 女性yongpin — 用品life — 生活
python3 scripts/mama_crawler.py --search <关键词> --max-articles <数量>
通过PC端搜索爬取相关文章。
python3 scripts/mama_crawler.py --all --max-pages 3 --max-articles 30
爬取所有分类(慎用,会花较长时间)。
输出
文章保存到 ~/.yuzhi/crawls/mama_cn/<分类名>/ 目录下,每个文章一个 .md 文件,包含标题、来源、日期和正文。
反爬机制
- 每次请求间隔 2-5 秒随机延迟
- 使用桌面浏览器 User-Agent
- 不验证 SSL 证书
技术说明
- 默认 PC 端(www.mama.cn),结构稳定
- 文章 URL 格式:
https://www.mama.cn/z/art// - PC 端分类页面文章较少,建议使用
--search 关键词搜索模式获取更多内容
版本历史
共 1 个版本
-
v1.1.0
当前
2026-05-03 11:01 安全 安全
安全检测
腾讯云安全 (Sanbu)
安全,无风险
查看报告
🔗 相关推荐
data-analysis
jacky1n7
通过 Tavily API 进行网页搜索(Brave 替代方案)。当用户要求搜索网页、查找来源或链接,且 Brave 网页搜索不可用时使用。
★ 279
📥 102,017
content-creation
zton100
AI长篇网文创作技能包。解决长篇网络小说核心痛点:上下文丢失、文风不一、设定冲突、节奏失控、多线混乱、质量不稳、读者反馈难内化。适用场景:新书启动、大纲规划、章节撰写、伏笔管理、冲突检测、读者反馈分析、批量创作质量控制。
★ 4
📥 4,248
data-analysis
ivangdavila
{"answer":"数据分析与可视化。查询数据库、生成报告、自动化电子表格,将原始数据转化为清晰可行的见解。适用于:(1) 您……"}
★ 219
📥 72,810