爬蟲調度管理平臺通信方法和爬蟲調度管理平臺系統(tǒng)

基本信息

申請?zhí)?/td> CN202011302154.8 申請日 -
公開（公告）號 CN112416550A 公開（公告）日 2021-02-26
申請公布號 CN112416550A 申請公布日 2021-02-26
分類號 G06F9/48(2006.01)I;G06F9/54(2006.01)I;G06F16/951(2019.01)I;G06F11/30(2006.01)I 分類 計算；推算；計數(shù);
發(fā)明人 劉明東 申請（專利權）人 廣州探途網(wǎng)絡技術有限公司
代理機構 北京中知君達知識產權代理有限公司 代理人 李辰;黃啟法
地址 510000廣東省廣州市海珠區(qū)新港東路70號之二自編004號房（僅限辦公）
法律狀態(tài) -

摘要

摘要 本申請是關于爬蟲調度管理平臺通信方法和爬蟲調度管理平臺系統(tǒng)。該方法由負責下達和發(fā)送爬蟲任務的主節(jié)點、負責執(zhí)行爬蟲任務的工作節(jié)點和負責數(shù)據(jù)存儲的數(shù)據(jù)存儲節(jié)點執(zhí)行，工作節(jié)點主機發(fā)送包含本機唯一標識信息到數(shù)據(jù)存儲節(jié)點；數(shù)據(jù)存儲節(jié)點根據(jù)唯一標識信息在本地數(shù)據(jù)庫中查找對應的工作節(jié)點信息；確認本地數(shù)據(jù)庫中沒有對應的工作節(jié)點信息，則將工作節(jié)點信息加入到本地數(shù)據(jù)庫中；將工作節(jié)點信息發(fā)送至主節(jié)點以供主節(jié)點使用工作節(jié)點信息與工作節(jié)點進行通信。本實施例通過工作節(jié)點主動將自身信息存儲于數(shù)據(jù)存儲節(jié)點的方法，確保工作節(jié)點能夠成功注冊，進而保證了主節(jié)點與工作節(jié)點的通信穩(wěn)定性。??