Berke Özyaşar

自动化机器人

针对数据采集、价格与库存监控、报表和通知等重复性工作,交付可自主运行的一站式系统。

每天检查同样的网站、把同样的数据从一处搬到另一处、手工做同样的报表,这些都是软件可以替您完成的工作。我是 Berke Özyaşar,把数据采集、价格监控、报表和通知等重复性工作,变成可自主运行的一站式系统。

适合谁

  • 需要定期跟踪竞争对手价格、库存或商品信息的电商和零售企业
  • 从不同来源收集数据并制作报表的团队
  • 希望通过移动应用和服务器管理无人值守业务的企业
  • 希望在特定事件发生时第一时间收到通知的任何人

包含哪些内容

  • 通过网页抓取和 API 集成自动采集数据
  • 价格与库存监控,超过阈值时发送邮件或消息通知
  • 对采集的数据进行清洗、写入数据库并生成报表
  • 文本和评论分析,例如提取视频评论中的整体倾向
  • 定时任务、出错重试和日志记录
  • 用于查看结果的简易面板或 Grafana 仪表盘

我如何工作

先弄清工作本身

目前这项工作由谁、多久做一次、按哪些步骤完成?把手工流程一步步写下来,就能明确自动化要做什么、不做什么。

抗故障的设计

网站会改版,API 有时也会没有响应。我会在机器人中加入重试机制、遵守速率限制,并在出现问题时提醒您。

合规

我们会从一开始就评估目标网站的使用条款以及个人数据相关的义务。有官方 API 时,我会优先使用。

交付

系统会部署在您的服务器或为您搭建的服务器上,确保正常运行,并连同文档一起交付。

从小处起步

首版先从一个数据源、一种输出开始,观察系统连续几天都运行正确,再扩大范围,这是最稳妥的方式。

技术

机器人大多用 Python 和 Node.js 编写。数据采集时优先使用官方 API,没有的话就解析 HTML,必要时使用浏览器自动化。结果写入 MySQL 等数据库;监控方面会配置 Grafana 面板以及邮件或消息通知。带移动端的项目我使用 React Native。

相关项目

我为一位客户开发的无人自助洗车应用,旨在把无人值守洗车站的找站点、启动洗车和支付等流程搬到手机上。Polymarket 机器人则是一个每隔几秒扫描订单簿、在条件满足时自主交易的自动化案例。如想聊聊您的项目,可以通过联系页面给我留言。

项目示例

常见问题

哪些工作可以自动化?

规则可以明确定义、且重复进行的工作:例如定期采集数据、价格与库存监控、制作报表、在特定事件发生时发送通知等。

机器人运行在什么环境中?

通常作为定时任务或常驻服务运行在服务器上。可根据需要部署在您的服务器或新服务器上。

目标网站改版了怎么办?

机器人会记录错误并提醒您,之后需要更新相应的集成。因此最好从一开始就规划好上线后的维护。

任何网站的数据都能采集吗?

技术上大多可行,但决定因素是网站的使用条款和个人数据相关法规。如果网站提供官方 API,我会优先使用。

一起让您的应用上线吧。

用几句话说说您想做什么,我会当天回复。

↑ ↓ 浏览,Enter 打开,Esc 关闭