اگر میخواهید کراول خود را به یک سابدامین یا سابفولدر محدود کنید، میتوانید از RegEx در تنظیمات Include یا Exclude در منوی Configuration استفاده کنید.
حذف (Exclusion)
در این مثال، ما میخواهیم تمام صفحات seerinteractive.com را کراول کردیم به جز صفحات about در هر زیر دامنه.
مرحله 1:
به منوی Configuration > Exclude بروید؛ از این بخش به کمک RegEx برای شناسایی URLها یا پارامترهایی که میخواهید حذف کنید استفاده کنید.
مرحله 2:
RegEx خود را تست کنید تا مطمئن شوید که صفحات مورد نظر شما برای حذف، پیش از شروع کراول، به درستی نادیده گرفته میشوند:
شمول (Inclusion)
در مثال زیر، ما فقط میخواهیم سابفولدر /team/ را در سایت seerinteractive.com کراول کنیم. حتما بعد از وارد کردن RegEx، از تب Test برای آزمایش درستی آن استفاده کنید و اطمینان حاصل کنید که RegEx به درستی پیکربندی شده است
استفاده از دو روش بیان شده، راهکاری عالی برای کراول کردن سایتهای بزرگتر است. اگر میخواهید یک سایت بزرگ را کراول کنید حتما دامنه را به چند بخش تقسیم کنید.
