提升爬蟲代理質量的方法、裝置及計算機可讀存儲介質

基本信息

申請?zhí)?/td> CN201910403144.4 申請日 -
公開（公告）號 CN110147271B 公開（公告）日 2020-04-28
申請公布號 CN110147271B 申請公布日 2020-04-28
分類號 G06F9/48;G06F9/50;G06F16/951 分類 計算；推算；計數(shù);
發(fā)明人 劉希龍 申請（專利權）人 重慶八戒傳媒有限公司
代理機構 北京酷愛智慧知識產權代理有限公司 代理人 重慶八戒傳媒有限公司
地址 401121 重慶市渝北區(qū)北部新區(qū)青楓北路30號（拓展區(qū)A5棟鳳凰C座第5層）
法律狀態(tài) -

摘要

摘要 本發(fā)明公開了一種提升爬蟲代理質量的方法、裝置及計算機可讀存儲介質，所述提升爬蟲代理質量的方法包括：為若干代理池設置不同優(yōu)先級；基于代理池優(yōu)先級及其使用率來進行代理池的調用。本發(fā)明通過對代理池合理分級，將代理按照優(yōu)質程度分類放入代理池中，并根據(jù)代理池的代理使用率進行代理池切換，實現(xiàn)網絡代理的有效管理，將優(yōu)質代理的使用率提升到最大化，提高爬蟲程序的網絡資源獲取效率；檢測代理的可用狀態(tài)，保證其請求的成功性，排除不可于用的代理，一定程度上減少了對于網絡資源的占用，降低網絡請求對目標服務器的傷害。