← 返回
未分类

妈妈网爬虫

妈妈网育儿知识爬虫(PC端)。爬取妈妈网(www.mama.cn)育儿文章,输出 Markdown 格式并存入御知库(~/.yuzhi/crawls/mama_cn/)。默认使用PC端User-Agent,按分类或关键词搜索爬取。帝说"爬取妈妈网"、"/爬虫"或需要采集育儿知识时触发。
妈妈网育儿知识爬虫(PC端),爬取mama.cn育儿文章,输出Markdown至~/.yuzhi/crawls/mama_cn/。默认PC端UA,按分类/关键词爬取。触发:帝说「爬取妈妈网」「/爬虫」或需采集育儿知识。
zton100 zton100 来源
未分类 clawhub v1.1.0 1 版本 100000 Key: 无需
★ 0
Stars
📥 407
下载
💾 0
安装
1
版本
#baby#china#crawler#knowledge#latest#mother

概述

妈妈网育儿知识爬虫(PC端)

命令

python3 scripts/mama_crawler.py --category <分类> --max-pages <页数> --max-articles <数量>

按分类爬取妈妈网文章(PC端)。

分类选项:

  • baby — 亲子
  • yingyang — 营养
  • disease — 疾病
  • lady — 女性
  • yongpin — 用品
  • life — 生活

python3 scripts/mama_crawler.py --search <关键词> --max-articles <数量>

通过PC端搜索爬取相关文章。

python3 scripts/mama_crawler.py --all --max-pages 3 --max-articles 30

爬取所有分类(慎用,会花较长时间)。

输出

文章保存到 ~/.yuzhi/crawls/mama_cn/<分类名>/ 目录下,每个文章一个 .md 文件,包含标题、来源、日期和正文。

反爬机制

  • 每次请求间隔 2-5 秒随机延迟
  • 使用桌面浏览器 User-Agent
  • 不验证 SSL 证书

技术说明

  • 默认 PC 端(www.mama.cn),结构稳定
  • 文章 URL 格式:https://www.mama.cn/z/art//
  • PC 端分类页面文章较少,建议使用 --search 关键词搜索模式获取更多内容

版本历史

共 1 个版本

  • v1.1.0 当前
    2026-05-03 11:01 安全 安全

安全检测

腾讯云安全 (Keen)

安全,无风险
查看报告

腾讯云安全 (Sanbu)

安全,无风险
查看报告

🔗 相关推荐

data-analysis

Tavily 搜索

jacky1n7
通过 Tavily API 进行网页搜索(Brave 替代方案)。当用户要求搜索网页、查找来源或链接,且 Brave 网页搜索不可用时使用。
★ 279 📥 102,017
content-creation

novel-writing

zton100
AI长篇网文创作技能包。解决长篇网络小说核心痛点:上下文丢失、文风不一、设定冲突、节奏失控、多线混乱、质量不稳、读者反馈难内化。适用场景:新书启动、大纲规划、章节撰写、伏笔管理、冲突检测、读者反馈分析、批量创作质量控制。
★ 4 📥 4,248
data-analysis

Data Analysis

ivangdavila
{"answer":"数据分析与可视化。查询数据库、生成报告、自动化电子表格,将原始数据转化为清晰可行的见解。适用于:(1) 您……"}
★ 219 📥 72,810