爬虫管理系统,爬虫管理平台 Crawlab v0.6.2 正式发布

科技资讯 投稿 6300 0 评论

爬虫管理系统,爬虫管理平台 Crawlab v0.6.2 正式发布

概览

爬虫管理系统,Crawlab v0.6.2 是 Crawlab v0.6.x 的最新迭代版本,带来了一系列改进,包括问题修复、功能优化以及环境变量功能的增强。

更新日志

问题修复

    意外数据库连接

  • 任务执行命令不生效

  • 任务重启执行命令不一致

  • 任务队列不一致问题

  • 无法更新Cron表达式

  • 节点禁用后仍然运行任务

  • 未返回任务ID

  • 无法下载JSON数据

  • 无法启动SeaweedFS

  • 任务MaxRunners设置错误

  • 去重不生效

  • 长日志导致任务卡住

  • 无法监控数据源状态

  • Git拉取错误

  • 当爬虫不存在时应用崩溃问题

  • 数据集问题

功能优化

    默认显示最新列表数据

  • 任务完成后关闭Runner

  • 批量写入日志

  • 配置日志TTL

  • 更多数据源

  • 环境变量

  • 删除不必要按钮

社区

如果您觉得 Crawlab 对您的日常开发或公司有帮助,欢迎在 Github 上进行 star,以及,如果遇到任何问题,请随时在 Github 上提 issue。另外,欢迎您对 Crawlab 做开发贡献。同时,您也可以加微信 tikazyq1 加入 Crawlab 技术交流群,在技术开发和部署使用上与其他开发者进行交流讨论。

参考

    官网: https://www.crawlab.cn

  • 文档: https://docs.crawlab.cn

  • GitHub: https://github.com/crawlab-team/crawlab

  • Demo: https://demo.crawlab.cn/

 

编程笔记 » 爬虫管理系统,爬虫管理平台 Crawlab v0.6.2 正式发布

赞同 (33) or 分享 (0)
游客 发表我的评论   换个身份
取消评论

表情
(0)个小伙伴在吐槽