精品人妻无码专区视频,亚洲欧洲精品专线,精品久久久久久无码中文野结衣 ,国产精品久久久久久久9999

快速采集中文期刊網(wǎng)站丨數(shù)據(jù)、規(guī)則一起送

2019-12-18 16:57:51 瀏覽:5506

采集地址:

http://lib.cqvip.com/Qikan/Search/Index?from=Qikan_Search_Index

QQ截圖20191218165226.png

采集字段:

標(biāo)題,摘要、作者、出處、作者簡(jiǎn)介、郵箱

采集結(jié)果:

使用“互聯(lián)網(wǎng)”作為關(guān)鍵詞進(jìn)行搜索,采集搜索結(jié)果,并保存到Excel。


1、下載火車采集器
輸入網(wǎng)址 www.y5958.cn 進(jìn)入火車官網(wǎng),隨后點(diǎn)擊下載來(lái)獲取火車采集器最新版本

QQ截圖20191218165301.png

2、注冊(cè)并登錄火車采集器
在網(wǎng)站進(jìn)行注冊(cè),注冊(cè)好賬號(hào)直接登錄即可。
3、打開爬取網(wǎng)站,確定真實(shí)地址

首先先點(diǎn)擊下一頁(yè),發(fā)現(xiàn)網(wǎng)址沒(méi)有改變,說(shuō)明這個(gè)網(wǎng)址需要通過(guò)抓包來(lái)獲取真實(shí)地址。

打開fiddler,點(diǎn)擊下一頁(yè)進(jìn)行抓包,使用Ctrl + F 查找有數(shù)據(jù)的網(wǎng)址,點(diǎn)擊進(jìn)去發(fā)現(xiàn)確實(shí)是我們需要的真實(shí)網(wǎng)址。


QQ截圖20191218165337.png

QQ截圖20191218165356.png

4網(wǎng)址是POST類型的,查看POST提交的數(shù)據(jù)發(fā)現(xiàn)是編碼過(guò)的,可以用工具轉(zhuǎn)碼,再點(diǎn)擊下一頁(yè),進(jìn)行抓包,對(duì)比兩次抓包的數(shù)據(jù),只有PageNum發(fā)生了變化,也就是分頁(yè),所以網(wǎng)址采集規(guī)則可如下設(shè)置。

QQ截圖20191218165418.png



5、接下來(lái)開始采內(nèi)容,要采集的幾個(gè)字段內(nèi)容源碼中都存在,直接從源碼獲取即可,這里標(biāo)題標(biāo)簽可以先用h1截取,然后用內(nèi)容替換和HTML標(biāo)簽過(guò)濾將不需要的內(nèi)容去除,其他幾個(gè)標(biāo)簽設(shè)置方法類似。

QQ截圖20191218165436.png



6值得一提的是,郵箱是從作者簡(jiǎn)介里提取的,這里可以使用組合標(biāo)簽來(lái)獲取作者簡(jiǎn)介的內(nèi)容,在數(shù)據(jù)處理里使用智能提取郵箱功能來(lái)自動(dòng)獲取內(nèi)容里的郵箱信息。

QQ截圖20191218165620.png


7、最后,保存到本地Excel。

QQ截圖20191218165540.png





本次每周一數(shù)贈(zèng)送的是中文期刊數(shù)據(jù)+采集規(guī)則,僅限火車軟件的商業(yè)版本用戶。不符合領(lǐng)取條件的可參加正在進(jìn)行的火車雙十二年終回饋活動(dòng),活動(dòng)還剩最后兩天。消費(fèi)達(dá)到1500元更是可以領(lǐng)取2019年整年每周一數(shù)的所有數(shù)據(jù),趕緊參加吧!

最后兩天.png

本周每周一數(shù)領(lǐng)取時(shí)間:2019年12月18 日發(fā)文后5個(gè)工作日內(nèi)(節(jié)假日除外)
領(lǐng)取方式:掃碼加運(yùn)營(yíng)微信,運(yùn)營(yíng)會(huì)拉您進(jìn)每周一數(shù)群,群內(nèi)加:【火車數(shù)據(jù)咨詢客服.雅】,經(jīng)驗(yàn)證為商業(yè)用戶后,即可領(lǐng)取。

微信圖片_20191024173419.jpg



掃碼關(guān)注微信