使用 Docker Swarm（集群） 和Docker Stack（堆栈）部署容器化应用 1、Docker Swarm简介 说到集群，第一个想到的就是k8s，但docker官方也提供了集群和编排解决方案，它允许你将多个 Docker 主机连接在一起，形成一个“群集”（Swarm），并可以在这个 Swarm 上运行和管理你的服务。 与Kubernetes相比，Docker Swarm的群集管理功能相对简单，Swarm更适合于小型到中型的容器部署，并且通常用于简单的应用程序部署和管理。 如 [……] 继续阅读»»»
自动化代码质量检测平台SonarQube搭建及使用，以及集成gitlab ci提交自动返回结果 1、sonarqube简介 Sonar (SonarQube)是一个开源平台，用于管理源代码的质量。 Sonar 不只是一个质量数据报告工具，更是代码质量管理平台。 支持java, JavaScrip, Scala 等等二十几种编程语言的代码质量管理与检测。 SonarQube®是一种自动代码审查工具，用于检测代码中的错误，漏洞和代码异味。它可以与您现有的工作流程集成，以便在项目分支和拉取请求之间 [……] 继续阅读»»»
通过虚拟机VM封装自己的windows系统，并自动激活windows 一、简介 概述：Easy Sysprep（简称ES）是IT天空出品的一款 Windows 操作系统封装部署辅助工具。它以微软系统准备工具 sysprep.exe 程序为核心，以微软官方文档为理论依据，结合广大系统工程师、系统维护人员、系统爱好者的实战经验，将系统封装部署的各步骤进行有机的整合。Easy Sysprep 有如其名，力求将复杂的 Windows 操作系统封装过程变得简单实用。 工具： [……] 继续阅读»»»
python爬虫之Scrapy框架，基本介绍使用以及用框架下载图片案例 一、Scrapy框架简介 Scrapy是:由Python语言开发的一个快速、高层次的屏幕抓取和web抓取框架，用于抓取web站点并从页面中提取结构化的数据，只需要实现少量的代码，就能够快速的抓取。 Scrapy使用了Twisted异步网络框架来处理网络通信，可以加快我们的下载速度，不用自己去实现异步框架，并且包含了各种中间件接口，可以灵活地实现各种需求。 Scrapy可以应用在包括数据挖掘、信息处 [……] 继续阅读»»»
Python爬虫伪装，请求头User-Agent池，和代理IP池搭建使用 一、前言 在使用爬虫的时候，很多网站都有一定的反爬措施，甚至在爬取大量的数据或者频繁地访问该网站多次时还可能面临ip被禁，所以这个时候我们通常就可以找一些代理ip，和不用的浏览器来继续爬虫测试。下面就开始来简单地介绍一下User-Agent池和免费代理ip池。 二、User-Agent池 User-Agent 就是用户代理，又叫报头，是一串字符串，相当于浏览器的身份证号，我们在利用python发送 [……] 继续阅读»»»
python爬虫之多线程threading、多进程程multiprocessing、协程aiohttp 批量下载图片 一、单线程常规下载 常规单线程执行脚本爬取壁纸图片，只爬取一页的图片。 执行结果： 结果，第一页24张图片，就下载差不多8分钟，排除网络等因素，还没有手动下载快。 二、多线程下载 上面的有两个循环，第一个是页面的循环，一页一页的加载，每页在单独循坏单独下载图片。 所以有两个等待时间，第一个就是等待第一页下载完成，才会到第二页。第二个等待就是每页图片一张下载完才下载第二张。 综上，优化两点：第一点， [……] 继续阅读»»»
python爬虫练习selenium+BeautifulSoup库，爬取b站搜索内容并保存excel 一、简介 前面文章已经介绍了selenium库使用，及浏览器提取信息相关方法。参考：python爬虫之selenium库 现在目标要求，用爬虫通过浏览器，搜索关键词，将搜索到的视频信息存储在excel表中。 二、创建excel表格，以及chrome驱动 三、创建定义搜索函数 里面有button_next 为跳转下一页的功能，之所有不用By.CLASS_NAME定位。看html代码可知 class名 [……] 继续阅读»»»
python爬虫之selenium库，浏览器访问搜索页面并提取信息，及隐藏浏览器运行 一、 selenium简介 如果链接简单，爬虫可以通过链接用requests库提取页面信息，如爬取豆瓣top250影片信息，链接简单易懂。参考：爬取豆瓣top250影片信息 但如果遇到一些搜索之类的，基于js动态加载的网页，以上就不适合，如爬虫b站，搜索“爬虫”页面，第一页链接如下，第二页又是很长没规律的链接。很难用requests库提取页面。 针对以上情况，我们可以通过浏览器直接访问每个页面，然 [……] 继续阅读»»»
python爬虫练习，爬取豆瓣最受欢迎的250部电影，并保存至excel 简介 目标：使用 BeautifulSoup + Reuqests，爬取豆瓣上评分最高的250部电影，并保存到excel表格中。 requests库，参考文章：python爬虫之reuqests库BeautifulSoup库，参考文章：python爬虫之Beautiful Soup库 一、创建xls表格 需要用到xlwt库，没安装的话，安装即可 创建空表格 二、创建请求函数 这里创建douban_ [……] 继续阅读»»»
python爬虫之Beautiful Soup库，基本使用以及提取页面信息 一、Beautiful Soup简介 爬虫正则表达式参考：Python 爬虫正则表达式和re库 在爬虫过程中，可以利用正则表达式去提取信息，但是有些人觉得比较麻烦。因为花大量时间分析正则表达式。这时候可以用高效的网页解析库Beautiful Soup。 Beautiful Soup 是一个HTML/XML 的解析器，主要用于解析和提取 HTML/XML 数据。 Beautiful Soup支持Py [……] 继续阅读»»»
