مقالات

مانیتورینگ Scrapy با Spidermon برای وب اسکریپینگ

این مقاله راهنمایی عملی برای راه‌اندازی Spidermon در پروژه‌های Scrapy ارائه می‌دهد: از نصب و تنظیمات پایه تا نوشتن Monitorها، MonitorSuiteها، اعتبارسنجی آیتم‌ها و ارسال نوتیفیکیشن (مثلاً اسلک). با مثال‌های کد پایتون و توضیحات خط به خط، می‌توانید ظرف چند دقیقه یک مانیتورینگ قابل اتکا برای وب اسکریپینگ خود بسازید.

۲۸ بهمن ۱۴۰۴

Scrapyd؛ راهنمای عملی اسکریپ با Scrapy

این مقاله یک راهنمای عملی برای نصب، استقرار و مدیریت اسپایدرهای Scrapy با Scrapyd ارائه می‌دهد؛ شامل مثال‌های کد برای deploy، استفاده از API و کتابخانهٔ python-scrapyd-api، ادغام با ScrapeOps و نکات امنیتی و بهترین‌روش‌ها برای اجرا در محیط تولید.

اسکرپینگ با پایتون (Python)

۲۷ بهمن ۱۴۰۴

استخراج داده از گوگل مپ با پایتون

در این مقاله، با مفهوم Web Scraping آشنا می‌شویم و یاد می‌گیریم چگونه با استفاده از زبان پایتون و ابزار Selenium، داده‌های Google Maps را به‌صورت مرحله‌به‌مرحله استخراج و در قالب فایل‌های قابل‌استفاده ذخیره کنیم. تمرکز این آموزش بر پیاده‌سازی عملی و درک منطق فنی فرآیند استخراج داده است.

Yazdan Shabab

۲۷ بهمن ۱۴۰۴

شخصی‌سازی Scrapy برای وب اسکریپینگ حرفه‌ای

راهنمایی عملی برای شخصی‌سازی Scrapy در وب اسکریپینگ: افزونه‌ها برای مانیتورینگ، میدل‌ویرها برای کنترل درخواست/پاسخ و پایپلاین‌ها برای پردازش و ذخیره داده. شامل مثال‌های کد (افزونه لاگر، middleware برای retry و pipeline برای sqlite)، توضیحات مرحله‌به‌مرحله و نکات بهینه‌سازی و امنیت.

۲۶ بهمن ۱۴۰۴

میان‌افزار سفارشی Scrapy برای وب اسکریپینگ

این مقاله یک راهنمای عملی برای نوشتن میان‌افزارهای سفارشی در Scrapy است؛ شامل پیاده‌سازی پروکسی با احراز هویت base64، مثال تغییر User-Agent، و یک میان‌افزار ری‌تری با توضیح کامل متدها و نکات عملی برای تست و بهینه‌سازی.

۲۵ بهمن ۱۴۰۴

مدیریت پروکسی و چرخش IP

وب اسکریپینگ با Pyppeteer و پراکسی‌ها

در این راهنما یاد می‌گیرید چگونه در اسکریپرهای Pyppeteer از پراکسی‌های ساده، احراز هویت‌شده و proxy port استفاده کنید؛ همراه با مثال‌های پایتون، نکات امنیتی، روش‌های عیب‌یابی و توصیه‌های عملکردی برای ساخت اسکریپ‌های پایدارتر در وب اسکریپینگ.

۲۴ بهمن ۱۴۰۴

اجرای Playwright در Jupyter برای وب اسکریپینگ

این مقاله گام‌به‌گام نشان می‌دهد چگونه Playwright را در Jupyter Notebook اجرا کنید تا وب اسکریپینگ تعاملی و سریع انجام دهید؛ شامل نصب کرنل، مثال‌های کد، روش‌های اشکال‌زدایی، الگوهای retry، مدیریت حافظه و نگهداری امن اعتبارنامه‌ها.

زمان‌بندی و اتوماسیون خزش

۲۳ بهمن ۱۴۰۴

اسکریپ Playwright: مدیریت User-Agentها

این مقاله روش‌های عملی مدیریت User-Agent در وب اسکریپینگ با Playwright را توضیح می‌دهد؛ از تنظیم مستقیم و چرخاندن UA تا استفاده از پلاگین‌های stealth و APIهای بیرونی. با مثال‌های پایتون و Node.js، نکات عیب‌یابی، امنیتی و بهترین‌روش‌ها را برای اجرای پایدار و کم‌ریسک اسکریپ‌ها پوشش می‌دهد.

۲۱ بهمن ۱۴۰۴

اسکریپ با Playwright: گرفتن اسکرین‌شات

این راهنمای عملی نشان می‌دهد چگونه با Playwright انواع اسکرین‌شات (صفحه کامل، ناحیه‌ای، المنتی، سفارشی با کیفیت) بگیریم، خروجی را به بافر منتقل کنیم، PDF بسازیم و خطاهای رایج را رفع کنیم. مثال‌های کد محور، نکات بهینه‌سازی و الگوهای retry/pattern برای پروژه‌های وب اسکریپینگ ارائه شده‌اند.

۲۰ بهمن ۱۴۰۴

اسکریپ فرم‌ها با Playwright برای توسعه‌دهنده‌های پایتون

این راهنمای عملی به توسعه‌دهنده‌های پایتون نشان می‌دهد چگونه با Playwright فرم‌های وب را برای اسکریپینگ و تست اتوماتیک کنند؛ شامل انتخابگرها، نمونه‌کدهای پایتون برای انواع ورودی‌ها، مدیریت پاسخ‌ها، روش‌های حل کپچا و نکات رفع اشکال و بهترین‌شیوه‌ها است.

۱۸ بهمن ۱۴۰۴

وب اسکریپینگ با Playwright و پراکسی در NodeJS

راهنمای عملی برای افزودن پراکسی به اسکریپرهای NodeJS با Playwright؛ شامل مثال‌های کدنویسی برای پراکسی ساده، پراکسی با احراز هویت، ادغام با proxy port و نکات مهم در مورد SSL، retry، مدیریت کلیدها و بهترین روش‌ها برای پایداری و عملکرد.

۱۷ بهمن ۱۴۰۴

مدیریت کوکی‌ها با Playwright

این مقاله یک راهنمای عملی برای مدیریت کوکی‌ها با Playwright در وب اسکریپینگ ارائه می‌دهد: گرفتن، فیلتر، ذخیره/بارگذاری، حذف و نکات تولیدی. مثال‌های پایتون، بهترین شیوه‌ها و روش‌های عیب‌یابی به شما کمک می‌کنند کوکی‌ها را امن و پایدار در خودکارسازی‌ها مدیریت کنید.