Otomasyon botları

Her gün aynı siteleri kontrol etmek, aynı veriyi bir yerden alıp başka bir yere taşımak, aynı raporu elle hazırlamak; bunlar bir yazılımın sizin yerinize yapabileceği işler. Ben Berke Özyaşar; veri toplama, fiyat takibi, raporlama ve bildirim gibi tekrarlayan işleri kendi başına çalışan anahtar teslim sistemlere dönüştürüyorum.

Kimler için

• Rakip fiyatlarını, stokları veya ilanları düzenli takip etmesi gereken e-ticaret ve perakende firmaları
• Farklı kaynaklardan veri toplayıp raporlayan ekipler
• Personelsiz çalışan bir hizmeti mobil uygulama ve sunucu ile yönetmek isteyen işletmeler
• Belirli bir olay gerçekleştiğinde anında haberdar olmak isteyen herkes

Neler dahil

• Web kazıma ve API entegrasyonlarıyla otomatik veri toplama
• Fiyat ve stok takibi, eşik aşıldığında e-posta veya mesaj bildirimi
• Toplanan verinin temizlenmesi, veritabanına yazılması ve raporlanması
• Metin ve yorum analizi, örneğin video yorumlarındaki genel eğilimi çıkarma
• Zamanlanmış görevler, hata durumunda yeniden deneme ve loglama
• Sonuçları izlemek için basit bir panel ya da Grafana göstergeleri

Nasıl çalışıyorum

Önce işin kendisi

Bugün bu işi kim, ne sıklıkla, hangi adımlarla yapıyor? Elle yapılan süreci adım adım yazmak, otomasyonun neyi yapıp neyi yapmayacağını netleştirir.

Kırılmaya dayanıklı tasarım

Web siteleri değişir, API'ler zaman zaman cevap vermez. Botlarda yeniden deneme, hız sınırlarına uyum ve bir şey ters gittiğinde sizi uyaran bir mekanizma kurarım.

Kurallara uygunluk

Veri toplanan sitelerin kullanım koşullarını ve kişisel verilerle ilgili yükümlülükleri baştan değerlendiririz. Resmi bir API varsa onu tercih ederim.

Teslim

Sistem sizin sunucunuzda ya da sizin adınıza kurulan bir sunucuda çalışır hale getirilir ve dokümantasyonuyla teslim edilir.

Küçük başlangıç

İlk sürümde tek bir kaynak ve tek bir çıktıyla başlayıp sistemin birkaç gün boyunca doğru çalıştığını görmek, sonra kapsamı genişletmek en sağlıklı yol.

Teknoloji

Botları çoğunlukla Python ve Node.js ile yazıyorum. Veri toplamada önce resmi API'leri, yoksa HTML ayrıştırmayı, gerektiğinde tarayıcı otomasyonunu kullanıyorum. Sonuçlar MySQL gibi bir veritabanına yazılıyor; izleme için Grafana panelleri ve e-posta ya da mesaj bildirimleri kuruluyor. Mobil tarafı olan projelerde React Native kullanıyorum.

İlgili projeler

Bir müşterimiz için geliştirdiğim otonom oto yıkama uygulaması, personelsiz çalışan yıkama istasyonlarında istasyon bulma, yıkama başlatma ve ödeme gibi akışları telefona taşımak için tasarlandı. Polymarket botları ise emir defterlerini birkaç saniyede bir tarayıp koşullar oluştuğunda kendi başına işlem yapan bir otomasyon örneği. Projenizi konuşmak için iletişim sayfasından yazabilirsiniz.