https://shdong.net/tags/%E7%88%AC%E8%99%AB/ Recent content in 爬虫 on Sheng Dong's website https://shdong.net/ptr.png https://shdong.net/ptr.png Hugo -- gohugo.io en Wed, 18 May 2022 19:27:46 +0000 https://shdong.net/post/crawl_papers_from_scihub/ Wed, 18 May 2022 19:27:46 +0000 https://shdong.net/post/crawl_papers_from_scihub/ <center> <img src="https://shdong.net/images/image-20220518230710288.png" alt="image-20220518230710288" style="zoom:50%;" /> </center> <h1 id="操作思路">操作思路</h1> <ul> <li>在Web of Science或者其他学术搜索引擎上查找所需要的文献，然后将全体检索结果的信息导出成Excel（包括作者、标题、出版年份、期刊、DOI号等等）</li> <li>以DOI号为检索条件，到Sci-Hub下载文献，将这一过程写成爬虫进行批量处理 <ul> <li>导出DOI号序列，写成循环来逐个爬取</li> <li>以DOI号检索文献，进入下载页面，查找到保存按钮对应的元素，下载到本地</li> <li>将下载的PDF文件按照自己的标准重命名</li> </ul> </li> <li>手动补全无法在Sci-Hub上得到的文献</li> </ul> https://shdong.net/post/china_sea_water_data/ Sun, 24 Apr 2022 01:36:16 +0000 https://shdong.net/post/china_sea_water_data/ <p>环境数据分析课程的大作业，主要目的应用一下课上学到的一些数据分析方法。</p> <ol> <li>通过爬虫获取我国沿海海水水质的监测数据；</li> <li>以散点图直观反映水质类别的分布和随时间变化情况；</li> <li>将化学需氧量数据转换为正态分布，以海区/省份为分类变量进行单因素方差分析；</li> <li>将无机氮数据转换为正态分布，用Pearson分析和线性回归分析考察化学需氧量和无机氮数据的相关性；</li> <li>利用机器学习，从多个污染指标数据预测海区分类。</li> </ol> <img src="https://shdong.net/images/image-20220424023106157.png" alt="image-20220424023106157" style="zoom:25%;" /> https://shdong.net/post/get_email_by_python_crawler/ Fri, 18 Mar 2022 11:01:32 +0000 https://shdong.net/post/get_email_by_python_crawler/ <p>最近在做的一个科研训练项目需要向某一交叉领域的专家们发送问卷调查。于是想到通过爬虫爬取国内各大高校在环境、建筑、能源等专业的教授的信息（姓名、邮箱、研究领域等等），再根据研究方向初步筛选，得到待定的专家组名单。&#x1f577;&#xfe0f;</p> <h1 id="预先准备">预先准备</h1> <p>安装python第三方库：<code>requests</code>，<code>re</code>，<code>csv</code>（必要）</p> <p>正则表达式在线测试工具：<a href="https://tool.oschina.net/regex">在线正则表达式测试 (oschina.net)</a>（非必要）</p>