SpringBoot CORS

发表于 2019-03-03 | 更新于 2019-03-17 | 分类于 SpringBoot | 评论数：

1. CORS相关知识1.1. origin请求头origin: 1.2. 实现CORS的方法主要有以下3种方式：注解驱动：@CrossOrigin，只能应用于Controller或者mapping方法代码驱动：WebMvcConfigurer#addCorsMappings，可实现全局CO ...

阅读全文 »

ElasticSearch 查询

发表于 2019-03-03 | 更新于 2019-03-06 | 分类于 ElasticSearch | 评论数：

1. 查询分类基本查询：使用elasticsearch内置查询条件进行查询组合查询：把多个查询组合在一起进行复合查询。过滤：查询同时，通过filter条件在不影响打分的情况下筛选数据。 2. 样例测试2.1. 建立索引PUT lagou{ "mappings": { ...

阅读全文 »

ElasticSearch 数据类型

发表于 2019-03-03 | 分类于 ElasticSearch | 评论数：

参考：https://www.cnblogs.com/lyq-biu/p/9866769.html 1. 数据类型可以接收的参数1.1. 简单概括属性描述适合类型 store 值为yes表示存储，为no表示不存储，默认为no all index yes表示分析，no表示不分析 ...

阅读全文 »

ElasticSearch 环境搭建

发表于 2019-03-02 | 更新于 2019-03-03 | 分类于 ElasticSearch | 评论数：

1. Windows ElasticSearch环境搭建1.1. 下载安装https://www.elastic.co/downloads/elasticsearch 官网下载zip或者tgz 1.2. 基本环境配置在安装目录下分别创建用于存放数据和日志的目录。es目录已经有logs目录了，所以再创 ...

阅读全文 »

SpringBoot 整合redis

发表于 2019-03-02 | 更新于 2019-03-03 | 分类于 SpringBoot | 评论数：

1. 参考资料官方整合redis参考文档：https://docs.spring.io/spring-boot/docs/current/reference/htmlsingle/#boot-features-redis 2. SpringBoot Redis相关配置# Redis数据库索引（默认为 ...

阅读全文 »

Scrapy 爬取知乎

发表于 2019-03-01 | 更新于 2019-03-08 | 分类于 Scrapy | 评论数：

1. 登录知乎1.1.创建 utils/zhihu_login_requests.py

阅读全文 »

Scrapy 入门

发表于 2019-03-01 | 更新于 2019-04-14 | 分类于 Scrapy | 评论数：

1. Scrapy介绍1.1. 什么是ScrapyScrapy是通用型的爬虫框架。所谓”通用”，就是用Scrapy做任何爬虫项目，都是适合的 1.2. Scrapy与urllib对比 urlib只是一个库，Scrapy是一个框架 urlib适合写单个爬虫文件，Scrapy适合写中大型爬虫项目 url ...

阅读全文 »

python pip

发表于 2019-02-28 | 分类于 python | 评论数：

1. pip命令1.1. 列出已安装的包pip list

阅读全文 »

搜房网环境搭建

发表于 2019-02-27 | 评论数：

1. 环境要求 JDK 1.8 + Maven + IDEA MySQL 5.7 ElasticSearch 6.2.4 SpringBoot 1.5.7 2. 数据库环境创建数据库名称xunwu 编码utf8mb4 导入 resources/db/xunwu.sql 3. 后端框架搭建Sp ...

阅读全文 »

MapReduce 运行原理

发表于 2019-02-25 | 更新于 2019-02-26 | 分类于 Hadoop ， MapReduce | 评论数：

1. InputFormat数据输入阶段1.1. 数据切片与MapTask并行度决定机制问题引出：MapTask的并行度决定Map阶段的任务处理并发度，进而影响到整个Job的处理速度。思考：1G的数据，启动8个MapTask，可以提高集群的并发处理能力。那么1K的数据，也启动8个MapTask，会提 ...

阅读全文 »