Кой изгражда списъка с адреси?
Тук е разклонението. На Pricemancer се дава домейн и той сам стига до продуктовите страници, като пуска всички методи за откриване, които сайтът поддържа, и слива резултатите: sitemap, групови заявки към платформата, обхождане на категории и вътрешно търсене. Sitemap, покриващ 80% от каталога, плюс обхождане на категориите, покриващо други 70%, заедно бият всеки поотделно — затова всички се изпълняват, вместо да се спре на първия успешен.
Какво става при магазин, който се защитава?
Някои сайтове са наистина защитени. Pricemancer ескалира сам — обикновена HTTP заявка, после заявка с профил на истински браузър, после пълноценен Chromium, после подсилен браузър за най-тежките случаи. Струва си да питате за всеки инструмент: какво прави тук и плащам ли за неуспешните опити? При нас се таксува техниката, която реално е успяла.
Скоростта нагажда ли се, или е фиксирано предположение?
Един общ лимит е или твърде бавен за търпеливите сайтове, или твърде агресивен за крехките. Събирачът вдига паралелността, докато пропускливостта се подобрява, и отстъпва, когато сайтът започне да оказва съпротива — така всеки магазин върви горе-долу толкова бързо, колкото търпи.
Колко преработка носи един редизайн?
Конфигурация, писана за всеки магазин, е конфигурация, която се чупи при промяна на магазина. Тъй като откриването и извличането се водят от това, което страницата реално отдава, а не от ръчно написани селектори, редизайнът обикновено означава ново пускане на откриването, а не построяване на съответствията наново.
Какво става със страниците, които се провалят?
Част от адресите са мъртви продукти, не блокирани страници. Тези, които се провалят многократно, се маркират и се пропускат при следващи обходи, за да не хабят време и токени, и остават видими в интерфейса, за да знаете точно кои са, вместо да се чудите защо едно число не излиза.