ربات ها امروزه به بخشی جدایی ناپذیر از فضای دیجیتال تبدیل شده اند. آنها به ما کمک می کنند تا مواد غذایی سفارش دهیم، موسیقی را در کانال Slack خود پخش کنیم و به همکارانمان برای اسموتی های خوشمزه ای که برای ما خریده اند، پول پس بدهیم. ربات ها همچنین اینترنت را پر می کنند تا عملکردهایی را که برای آنها طراحی شده اند انجام دهند. اما این برای صاحبان وب سایت چه معنایی دارد؟ و (شاید مهمتر از آن) این چه معنایی برای محیط زیست دارد؟ برای دانستن آنچه باید در مورد ترافیک ربات بدانید و چرا باید به آن اهمیت دهید، ادامه مطلب را بخوانید!
کسب اطلاعات بیشتر: عناوین پست وبلاگ را برای جستجو بهینه کنید
ربات چیست؟
بیایید با اصول اولیه شروع کنیم: ربات یک برنامه نرم افزاری است که برای انجام کارهای خودکار از طریق اینترنت طراحی شده است. ربات ها می توانند رفتار یک کاربر واقعی را تقلید یا حتی جایگزین کنند. آنها در اجرای کارهای تکراری و پیش پا افتاده بسیار خوب هستند. آنها همچنین سریع و کارآمد هستند، که در صورت نیاز به انجام کاری در مقیاس بزرگ، آنها را به یک انتخاب عالی تبدیل می کند.
ترافیک ربات چیست؟
ترافیک ربات به هرگونه ترافیک غیر انسانی به یک وب سایت یا برنامه اشاره دارد. چیزی که در اینترنت بسیار عادی است. اگر صاحب یک وب سایت هستید، به احتمال زیاد توسط یک ربات از شما بازدید شده است. در حقیقت، ترافیک ربات تقریباً 30 درصد از کل ترافیک اینترنت در حال حاضر را تشکیل می دهد.
آیا ترافیک ربات بد است؟
احتمالاً شنیده اید که ترافیک ربات برای سایت شما مضر است. و در بسیاری از موارد، این درست است. اما ربات های خوب و قانونی نیز وجود دارد. این به هدف ربات ها و قصد سازندگان آنها بستگی دارد. برخی از ربات ها برای اجرای خدمات دیجیتال مانند موتورهای جستجو یا دستیاران شخصی ضروری هستند. با این حال، برخی از ربات‌ها می‌خواهند به وب‌سایت شما نفوذ کرده و اطلاعات حساس را به سرقت ببرند. بنابراین، کدام ربات ها “خوب” و کدام “بد” هستند؟ بیایید کمی عمیق تر به این موضوع بپردازیم.
ربات های “خوب”.
ربات های «خوب» کارهایی را انجام می دهند که به وب سایت یا سرور شما آسیبی نمی رساند. آنها خودشان را اعلام می کنند و به شما اطلاع می دهند که در وب سایت شما چه می کنند. محبوب ترین ربات های “خوب” خزنده های موتورهای جستجو هستند. بدون خزنده هایی که از وب سایت شما برای کشف محتوا بازدید می کنند، موتورهای جستجو راهی برای ارائه اطلاعات به شما در هنگام جستجوی چیزی ندارند. بنابراین وقتی از ترافیک ربات “خوب” صحبت می کنیم، در مورد این ربات ها صحبت می کنیم.
به غیر از خزنده های موتورهای جستجو، برخی از ربات های اینترنتی خوب دیگر عبارتند از:
- خزنده های سئو: اگر در فضای سئو هستید، احتمالاً از ابزارهایی مانند Semrush یا Ahrefs برای انجام تحقیقات کلمات کلیدی یا به دست آوردن بینش نسبت به رقبا استفاده کرده اید. برای اینکه این ابزارها اطلاعات شما را ارائه دهند، آنها همچنین باید ربات هایی را برای خزیدن در وب و جمع آوری داده ها ارسال کنند.
- ربات های تجاری: شرکت های تجاری این ربات ها را برای خزیدن در وب برای جمع آوری اطلاعات ارسال می کنند. به عنوان مثال، شرکت های تحقیقاتی از آنها برای نظارت بر اخبار موجود در بازار استفاده می کنند. شبکه های تبلیغاتی برای نظارت و بهینه سازی تبلیغات نمایشی به آنها نیاز دارند. وب سایت های «کوپن» کدهای تخفیف و برنامه های فروش را برای ارائه خدمات به کاربران در وب سایت های خود جمع آوری می کنند.
- ربات های نظارت بر سایت: آنها به شما کمک می کنند تا زمان آپدیت و سایر معیارهای وب سایت خود را نظارت کنید. آنها به طور دوره ای داده هایی مانند وضعیت سرور و مدت زمان کار را بررسی و گزارش می کنند. این به شما اجازه می دهد تا زمانی که مشکلی در سایت شما وجود دارد اقدام کنید.
- ربات‌های خوراک/جمع‌آور: آنها محتوای خبرساز را جمع‌آوری و ترکیب می‌کنند تا به بازدیدکنندگان سایت یا مشترکین ایمیل شما ارائه دهند.
ربات های “بد”.
ربات های “بد” با اهداف مخرب در ذهن ایجاد می شوند. احتمالاً ربات‌های اسپم را دیده‌اید که وب‌سایت شما را با نظرات مزخرف، بک لینک‌های نامربوط و تبلیغات ظالمانه اسپم می‌کنند. و شاید شما هم درباره ربات‌هایی شنیده باشید که در قرعه‌کشی‌های آنلاین جای مردم را می‌گیرند، یا ربات‌هایی که صندلی‌های خوب کنسرت‌ها را خریداری می‌کنند.
به دلیل این ربات های مخرب است که ترافیک ربات ها شهرت بدی پیدا می کند و به درستی هم همینطور است. متأسفانه امروزه تعداد قابل توجهی از ربات های بد در اینترنت پر شده اند.
در اینجا چند ربات وجود دارد که نمی خواهید در سایت خود قرار بگیرند:
پاک کننده های ایمیل: آنها آدرس های ایمیل را جمع آوری می کنند و ایمیل های مخرب را به آن مخاطبین ارسال می کنند.
ربات‌های هرزنامه نظرات: وب‌سایت خود را با نظرات و پیوندهایی که افراد را به یک وب‌سایت مخرب هدایت می‌کند، هرزنامه کنید. در بسیاری از موارد، آنها وب سایت شما را برای تبلیغات یا تلاش برای دریافت بک لینک به سایت خود اسپم می کنند.
ربات های Scrapers: این ربات ها به وب سایت شما می آیند و هر چیزی را که می توانند پیدا کنند دانلود می کنند. این می تواند شامل متن، تصاویر، فایل های HTML و حتی ویدیوهای شما باشد. سپس اپراتورهای ربات از محتوای شما بدون اجازه مجددا استفاده خواهند کرد.
ربات هایی برای پر کردن اعتبار یا حملات brute force: این ربات ها سعی می کنند به وب سایت شما دسترسی پیدا کنند تا اطلاعات حساس را سرقت کنند. آنها این کار را با تلاش برای ورود مانند یک کاربر واقعی انجام می دهند.
بات‌نت، رایانه‌های زامبی: آنها شبکه‌هایی از دستگاه‌های آلوده هستند که برای انجام حملات DDoS استفاده می‌شوند. DDoS مخفف عبارت distributed denial-of-service است. در طول یک حمله DDoS، مهاجم از چنین شبکه ای از دستگاه ها استفاده می کند تا یک وب سایت را با ترافیک ربات پر کند. این کار سرور وب شما را با درخواست ها غرق می کند و در نتیجه یک وب سایت کند یا غیرقابل استفاده ایجاد می شود.
ربات‌های موجودی و بلیط: آنها برای خرید بلیط رویدادهای سرگرمی یا خرید عمده محصولات تازه منتشر شده به وب‌سایت‌ها مراجعه می‌کنند. کارگزاران از آنها برای فروش مجدد بلیط یا محصولات با قیمت بالاتر استفاده می کنند تا سود کسب کنند.
چرا باید به ترافیک ربات اهمیت دهید؟
اکنون که اطلاعاتی در مورد ترافیک ربات دارید، بیایید در مورد اینکه چرا باید به آن اهمیت دهید صحبت کنیم.
برای عملکرد وب سایت شما
ترافیک ربات های مخرب سرور وب شما را تحت فشار قرار می دهد و حتی گاهی اوقات آن را بیش از حد بارگذاری می کند. این ربات‌ها با درخواست‌های خود پهنای باند سرور شما را اشغال می‌کنند و در صورت حمله DDoS، وب‌سایت شما را کند یا کاملاً غیرقابل دسترس می‌کنند. در این بین، ممکن است ترافیک و فروش خود را به سایر رقبا از دست داده باشید.
علاوه بر این، ربات های مخرب خود را به عنوان ترافیک معمولی انسان پنهان می کنند، بنابراین ممکن است هنگام بررسی آمار وب سایت خود قابل مشاهده نباشند. نتیجه؟ ممکن است جهش‌های تصادفی در ترافیک ببینید اما دلیل آن را نمی‌دانید. یا ممکن است در مورد اینکه چرا ترافیک دریافت می‌کنید اما تبدیلی دریافت نمی‌کنید گیج شوید. همانطور که می توانید تصور کنید، این به طور بالقوه می تواند به تصمیمات تجاری شما آسیب برساند زیرا داده های درستی ندارید.
برای امنیت سایت شما
ربات های مخرب نیز برای امنیت سایت شما مضر هستند. آنها سعی می‌کنند با استفاده از ترکیب‌های مختلف نام کاربری/رمز عبور وارد وب‌سایت شما شوند یا نقاط ضعف ورودی را جستجو کرده و به اپراتورهای خود گزارش دهند. اگر آسیب‌پذیری‌های امنیتی دارید، این بازیکنان مخرب حتی ممکن است سعی کنند ویروس‌هایی را روی وب‌سایت شما نصب کنند و آنها را به کاربران خود پخش کنند. و اگر صاحب یک فروشگاه آنلاین هستید، باید اطلاعات حساسی مانند جزئیات کارت اعتباری را که هکرها دوست دارند به سرقت ببرند، مدیریت کنید.
برای محیط زیست
آیا می دانستید که ترافیک ربات بر محیط زیست تأثیر می گذارد؟ هنگامی که یک ربات از سایت شما بازدید می کند، یک درخواست HTTP به سرور شما ارسال می کند و اطلاعاتی را می خواهد. سرور شما باید پاسخ دهد، سپس اطلاعات لازم را برگرداند. هر زمان که این اتفاق بیفتد، سرور شما باید مقدار کمی انرژی برای تکمیل درخواست صرف کند. حال، در نظر بگیرید که چند ربات در اینترنت وجود دارد. احتمالاً می توانید تصور کنید که میزان انرژی صرف شده برای ترافیک ربات ها بسیار زیاد است!
از این نظر، مهم نیست که یک ربات خوب یا بد از سایت شما بازدید کند. روند همچنان به همین شکل است. هر دو برای انجام وظایف خود از انرژی استفاده می کنند و هر دو پیامدهایی بر محیط زیست دارند.
حتی با وجود اینکه موتورهای جستجو بخش ضروری اینترنت هستند، اما آنها نیز مقصر هستند. آنها می توانند بارها از سایت شما بازدید کنند و حتی تغییرات مناسب را انتخاب نکنند. توصیه می کنیم گزارش سرور خود را بررسی کنید تا ببینید خزنده ها و ربات ها چند بار از سایت شما بازدید می کنند. علاوه بر این، یک گزارش آمار خزیدن در کنسول جستجوی گوگل وجود دارد که به شما می گوید چند بار گوگل سایت شما را می خزد. ممکن است از برخی اعداد در آنجا شگفت زده شوید.
یک مطالعه موردی کوچک از Yoast
به عنوان مثال، Yoast را در نظر بگیرید. در هر روز، خزنده های گوگل می توانند 10000 بار از وب سایت ما بازدید کنند. ممکن است معقول به نظر برسد که زیاد از ما بازدید کنید، اما آنها فقط 4500 URL منحصر به فرد را بررسی می کنند. این بدان معناست که انرژی برای خزیدن بارها و بارها در URLهای تکراری استفاده شده است. حتی اگر به طور منظم محتوای وب سایت خود را منتشر و به روز می کنیم، احتمالاً به همه آن خزیدن نیازی نداریم. این خزیدن فقط برای صفحات نیست. خزنده ها همچنین تصاویر ما، CSS، جاوا اسکریپت و غیره را بررسی می کنند.
اما این همه چیز نیست. ربات های گوگل تنها کسانی نیستند که از ما بازدید می کنند. ربات هایی از سایر موتورهای جستجو، خدمات دیجیتال و حتی ربات های بد نیز وجود دارند. چنین ترافیک غیر ضروری ربات سرور وب سایت ما را تحت فشار قرار می دهد و انرژی را هدر می دهد که در غیر این صورت می تواند برای سایر فعالیت های ارزشمند استفاده شود.
در برابر ربات های “بد” چه کاری می توانید انجام دهید؟
می توانید سعی کنید ربات های بد را شناسایی کرده و آنها را از ورود به سایت خود مسدود کنید. این کار باعث صرفه جویی زیادی در پهنای باند و کاهش فشار روی سرور شما می شود که به نوبه خود به صرفه جویی در انرژی کمک می کند. اساسی ترین راه برای انجام این کار، مسدود کردن یک فرد یا طیف وسیعی از آدرس های IP است. در صورت شناسایی ترافیک نامنظم از آن منبع، باید یک آدرس IP را مسدود کنید. این رویکرد کار می کند، اما کار فشرده و زمان بر است.
از طرف دیگر، می توانید از یک راه حل مدیریت ربات از ارائه دهندگانی مانند Cloudflare استفاده کنید. این شرکت ها پایگاه داده گسترده ای از ربات های خوب و بد دارند. آنها همچنین از هوش مصنوعی و یادگیری ماشینی برای شناسایی ربات‌های مخرب استفاده می‌کنند و قبل از اینکه به سایت شما آسیب برسانند، آنها را مسدود می‌کنند.
پلاگین های امنیتی
علاوه بر این، اگر یک وب سایت وردپرسی دارید، باید یک افزونه امنیتی نصب کنید. برخی از افزونه‌های امنیتی محبوب‌تر (مانند Sucuri Security یا Wordfence) توسط شرکت‌هایی نگهداری می‌شوند که از محققان امنیتی استفاده می‌کنند که مسائل را نظارت و اصلاح می‌کنند. برخی از افزونه های امنیتی به طور خودکار ربات های «بد» خاص را برای شما مسدود می کنند. دیگران به شما اجازه می دهند ببینید که ترافیک غیرعادی از کجا می آید، سپس به شما اجازه می دهند تصمیم بگیرید که چگونه با آن ترافیک برخورد کنید.
در مورد ربات های “خوب” چطور؟
همانطور که قبلاً اشاره کردیم، ربات های “خوب” خوب هستند زیرا در کاری که انجام می دهند ضروری و شفاف هستند. اما هنوز هم می توانند انرژی زیادی مصرف کنند. ناگفته نماند، این ربات ها حتی ممکن است برای شما مفید نباشند. حتی اگر کاری که انجام می دهند «خوب» تلقی می شود، باز هم می تواند برای وب سایت و محیط شما مضر باشد. بنابراین، چه کاری می توانید برای ربات های خوب انجام دهید؟
1. اگر مفید نیستند آنها را مسدود کنید
شما باید تصمیم بگیرید که آیا می خواهید این ربات های “خوب” در سایت شما بخزند یا نه. آیا خزیدن آنها در سایت شما برای شما مفید است؟ به طور دقیق تر: آیا خزیدن آنها در سایت شما بیشتر از هزینه سرورها، سرورهای آنها و محیط زیست برای شما مفید است؟
برای مثال، ربات‌های موتور جستجو را در نظر بگیریم. گوگل تنها موتور جستجوی موجود نیست. به احتمال زیاد خزنده های موتورهای جستجوی دیگر نیز از شما بازدید کرده اند. اگر امروز یک موتور جستجو 500 بار سایت شما را خزیده باشد، در حالی که فقط ده بازدیدکننده برای شما به ارمغان بیاورد، چه؟ آیا هنوز مفید است؟ اگر اینطور است، باید آنها را مسدود کنید، زیرا به هر حال ارزش زیادی از این موتور جستجو دریافت نمی کنید.
2. سرعت خزیدن را محدود کنید
اگر ربات‌ها از تاخیر خزیدن در robots.txt پشتیبانی می‌کنند، باید سعی کنید سرعت خزیدن آنها را محدود کنید. به این ترتیب، آنها هر 20 ثانیه یک بار بر نمی گردند تا پیوندهای مشابه را بارها و بارها بخزند. از آنجا که بیایید صادق باشیم، احتمالاً در هر روز 100 بار محتوای وب سایت خود را به روز نمی کنید. حتی اگر وب سایت بزرگتری دارید.
شما باید با نرخ خزیدن بازی کنید و تأثیر آن را بر روی وب سایت خود نظارت کنید. با کمی تأخیر شروع کنید، سپس وقتی مطمئن شدید که عواقب منفی ندارد، تعداد را افزایش دهید. به علاوه، می‌توانید نرخ تاخیر خزیدن خاصی را برای خزنده‌های منابع مختلف تعیین کنید. متأسفانه، گوگل از تاخیر کراول پشتیبانی نمی کند، بنابراین نمی توانید از آن برای ربات های گوگل استفاده کنید.
3. به آنها کمک کنید تا کارآمدتر بخزند
مکان‌های زیادی در وب‌سایت شما وجود دارد که خزنده‌ها هیچ کاری ندارند. به عنوان مثال، نتایج جستجوی داخلی شما. به همین دلیل است که باید دسترسی آنها را از طریق robots.txt مسدود کنید. این نه تنها در مصرف انرژی صرفه جویی می کند، بلکه به بهینه سازی بودجه خزیدن شما نیز کمک می کند.
در مرحله بعد، می توانید با حذف لینک های غیر ضروری که CMS و افزونه های شما به طور خودکار ایجاد می کنند، به ربات ها کمک کنید تا سایت شما را بهتر بخزند. به عنوان مثال، وردپرس به طور خودکار یک فید RSS برای نظرات وب سایت شما ایجاد می کند. این فید RSS دارای یک لینک است، اما به سختی کسی به آن نگاه می کند، به خصوص اگر نظرات زیادی نداشته باشید. بنابراین، وجود این فید RSS ممکن است برای شما ارزشی نداشته باشد. فقط پیوند دیگری را برای خزنده‌ها ایجاد می‌کند که مکرراً بخزند و انرژی را در این فرآیند هدر دهند.
