هنگام شروع به کراول کردن، بهتر است یک لحظه وقت بگذارید و ارزیابی کنید که چه نوع اطلاعاتی می‌خواهید به‌دست آورید، اندازه سایت چقدر است و چقدر از سایت را باید کراول کنید تا به تمام اطلاعات دسترسی پیدا کنید. گاهی اوقات، برای سایت‌های بزرگتر، بهتر است که کراولر را به یک زیرمجموعه از URLها محدود کنید تا نمونه داده‌های مناسبی بدست آورید.
این کار اندازه فایل‌ها و استخراج داده‌ها را ممکن می‌کند. در ادامه به این موضوع با جزئیات بیشتری خواهیم پرداخت. برای کراول کردن کل سایت، از جمله تمام زیر دامنه‌ها، نیاز به انجام تنظیمات کمی در کانفیگ اسپایدر اسکریمینگ فراگ خواهید داشت.
به‌طور پیش‌فرض، Screaming Frog فقط زیر دامنه‌ای که وارد کرده‌اید را کراول می‌کند. هر زیر دامنه اضافی که اسپایدر با آن برخورد کند، به‌عنوان لینک‌های خارجی در نظر گرفته می‌شود. برای کراول کردن زیر دامنه‌های اضافی، باید تنظیمات را در منوی کانفیگ اسپایدر تغییر دهید.
با فعال کردن گزینه Crawl All Subdomains، اطمینان پیدا می‌کنید که اسپایدر هر لینکی که با آن مواجه می‌شود، از جمله لینک‌های زیر دامنه‌های دیگر سایت را کراول کنید.
مرحله 1:
مرحله 2:
علاوه بر این، اگر کراول را از یک زیرپوشه یا ساب دایرکتوری خاص شروع می‌کنید و می‌خواهید که Screaming Frog کل سایت را کراول کند، تیک گزینه Crawl Outside of Start Folder را بزنید.
به‌طور پیش‌فرض، SEO Spider طوری تنظیم شده است که فقط از زیرپوشه یا ساب دایرکتوری‌ای که از آن شروع می‌کنید کراول کند. اگر می‌خواهید کل سایت را کراول کنید و از یک زیر دایرکتوری خاص شروع کنید، مطمئن شوید که کانفیگ برای کراول کردن خارج از فولدر شروع تنظیم شده است.
نکتهٔ حرفه‌ای:
برای صرفه‌جویی در زمان و فضای دیسک، منابعی که ممکن است به آن‌ها نیاز نداشته باشید را در کراول در نظر بگیرید. گزینه‌های Images ،CSS ،JavaScript و SWF را برای کاهش حجم کراول غیر فعال کنید.
چگونه یک ساب دایرکتوری خاص را کراول کنیم؟
اگر می‌خواهید کراول خود را به یک پوشه خاص محدود کنید، کافی است URL را وارد کرده و بدون تغییر هیچ یک از تنظیمات پیش‌فرض، دکمه شروع را بزنید. اگر تنظیمات پیش‌فرض اصلی را بازنویسی کرده‌اید، تنظیمات پیش‌فرض را از طریق منوی File ریست کنید.
اگر می‌خواهید کراول خود را از یک پوشه خاص شروع کنید، اما می‌خواهید کراول را به بقیه سابدامین دامنه ادامه دهید، حتماً گزینه Crawl Outside Of Start Folder را در تنظیمات Spider Configuration قبل از وارد کردن URL خاص خود انتخاب کنید.
