URL/Събиране на връзки Този раздел е предназначен за събиране на връзки от уебсайтове. По време на обработката на сайта модулът събира връзки, които отговарят на зададените филтри.
За да започнете събирането на връзки, трябва да посочите началната връзка. Това е връзката, от която модулът ще започне да анализира страницата и да търси други връзки. След като модулът анализира началната страница и събере всички връзки от нея, те ще бъдат изпратени за проверка на филтрите.
Връзките, които преминат през определените филтри, се добавят към списъка с опашката. Връзките, които преминат през филтрите за връзки, се добавят към списъка с връзки към стоки. След това модулът взема следващата връзка от опашката за сканиране и процесът се повтаря, докато не бъде изчерпана опашката за сканиране. Всички връзки, които модулът е сканирал, се маркират като прегледани. Дублираните връзки не се записват в опашката за сканиране и изход.
По време на сканирането списъкът с опашката за сканиране се непрекъснато попълва, и чрез обхождане на всички връзки можем лесно да съберем необходимите връзки, независимо дали става дума за стоки, категории или други видове интересни за вас страници.
Внимание! Дублираните URL адреси не могат да бъдат включени в списъците с опашката и изходните връзки.
Елементи на страницата за събиране на връзки Проект – В това поле можете да промените името на проекта.
Пауза при анализ – При събирането на връзки вашият уебсайт ще изпраща заявки към източника, изтегля страницата, анализира я и след това продължава със следващата връзка. Ако правите много заявки, уебсайтът източник може да ви блокира поради необичайна активност. По време на анализа модулът може да преглежда дори до 3 страници на секунда, което човек не може да постигне. Тази настройка позволява създаването на пауза между заявките. Времето се измерва в секунди. Също така можете да посочите времеви интервал, например, ако искате модулът да прави случайна пауза между заявките и да определя продължителността на паузата случайно в интервала от 3 секунди до 10 секунди. За целта трябва да напишете “3-10” в това поле.
Начална връзка – Връзката, от която модулът започва да събира връзки от уебсайта. Тази връзка трябва задължително да включва протокола “http://” или “https://”.
Не включвайте в опашката – В това поле можете да посочите какви елементи не трябва да се съдържат във връзката, която искате да видите в списъка с опашката за сканиране. Например, ако не искате в списъка с опашката за сканиране да има връзки от категорията “галоген”, и знаете, че тази категория има връзка като “https://svetavto.com.ua/galogen/“, вие само трябва да посочите “/galogen/”, и връзките от тази категория няма да бъдат включени в списъка с опашката за сканиране. Те ще бъдат отделени от модула. Също така можете да добавяте не само един филтър, а колкото искате. Всеки нов филтър трябва да бъде записан на нов ред.
Шаблон на връзките в опашката – В това поле посочвате какви елементи трябва да присъстват във връзката, за да бъде добавена в опашката за сканиране. Например, ако искате в опашката за сканиране да има само връзки от категорията “Лед” и знаете, че тази категория започва с “https://svetavto.com.ua/led/“, посочвате “/led/” в шаблона на връзките в опашката, и в списъка с опашката за сканиране ще се добавят само връзки, които съдържат “/led/” в себе си. В това поле също можете да добавите колкото искате филтриращи параметри. Всеки нов параметър на филтъра трябва да започва на нов ред. Също така имате опцията “Или/И”. По подразбиране правилото е “Или”, което означава, че ако посочите два или повече правила в полето, модулът ще добави връзка в опашката за сканиране, ако поне едно от правилата бъде намерено във връзката. Ако активирате “Или” и го запазите, ще бъде активирано правилото “И”, което означава, че модулът ще добави връзка в опашката за сканиране само ако във връзката се намерят всички правила, посочени в полето за шаблон на връзките в опашката.
Внимание! Събирането и филтрирането на връзки за списъка с изходни връзки работи по същия начин, както за опашката за сканиране.
Опашка за сканиране на връзки – В това поле можете да видите какви връзки са добавени към опашката за сканиране и, след като откриете ненужни връзки, можете да ги изтриете и да добавите нови филтриращи правила.
Връзки към продукти – В този раздел ще видите всички връзки, които сте желали да съберете. Крайният списък с необходимите връзки.
Бутон “Повтори филтрация” – Представете си, че сте сканирали 5 000 връзки и сте събрали около 10 000 връзки, за което сте отделели няколко часа. След това сте забелязали, че в изходния списък с връзки или в опашката за сканиране има ненужни връзки. Тези връзки може да създадат ненужни редове във вашата ценова листа и, освен това, не е смисъл да губите време с тях. Вие посочвате допълнителни филтри и ги запазвате, след което можете да натиснете бутона “Повтори филтрация”. Тази функция ще прегледа всички връзки в базата данни и ще ги филтрира отново, спазвайки всички филтриращи правила, и ще отдели ненужните връзки отново.
След като сте събрали връзките, можете да преминете към настройките за анализ.