Better Code, Better Life

简介 Hadoop([hædu:p])作者Doug cutting，名字来源于Doug Cutting儿子的玩具大象 模块 HDFS(Hadoop Distributed File System) 分布式存储系统 Hadoop MapReduce 分布式计算框架 Hadoop YARN 资源管理系统(Hadoop 2.x才有) Hadoop Common 网址 官网 r1.0.4中文文档 r2.10.1文档 谷歌论文(理论来源) 《The Google File System》 2003年 《MapReduce: Simplified Data Processing on Large Clusters》 2004年 《Bigtable: A Distributed Storage System for Structured Data》 2006年 版本：2016年10月hadoop-2.6.5，2017年12月hadoop-3.0.0 大数据生态CDH提供商 HDFSHDFS基础概念 HDFS优缺点 优点：高容错性(自动保存副本，自动恢复)、适合批处理、适合大数据(TB/PB)处理、可构建在廉价机器上 缺点：占用内存大、修改文件成本过高 存储模型 文件线性按字节切割成块(block)，具有offset，id 文件与文件的block大小可以不一样 一个文件除最后一个 ...

简介 Solr它是一种开放源码的、基于 Lucene Java 的搜索服务器，易于加入到 Web 应用程序中。 基于开放接口（XML和HTTP）的标准进行索引创建和查询 (基于Lucene通过HTTP请求进行数据索引管理) 可伸缩性－能够有效地复制到另外一个Solr搜索服务器 附带了一个基于HTTP管理界面 Solr与Lucene 并不是竞争对立关系，恰恰相反Solr 依存于Lucene，因为Solr底层的核心技术是使用Lucene 来实现的。Lucene专注于搜索底层的建设，而Solr专注于企业应用 Solr内嵌Jetty和ZooKeeper。SolrCloud 模式是基于ZooKeeper的，会自动启动ZooKeeper服务。 官网：https://lucene.apache.org/solr/ 官方教程、solr-7.2-pdf 各版本下载地址(本文基于solr-7.2.0进行说明，需要jdk1.8及以上) 相关概念 collection/core 均指以不同的数据结构来对数据进行索引(索引库、集合) schema为一个xml配置文件，主要用于配置字段和字段类型，动态字段等。（如某个字段可忽略大小写也可在其中配置） 安装及使用 ^1下载解压说明 下载tar包解压 tar -zxvf solr-7.2.1.tgz -C /opt/soft，目录说明 example 几个 ...

简介 TODO https://my.oschina.net/xionghui/blog/498785 java应用常见故障：高CPU占用、高内存占用、高I/O占用(包括磁盘I/O、网络I/O、数据库I/O等) 高CPU常见场景：死循环(如while导致的较多)、高内存导致 高内存占用也会引起高CPU占用：内存溢出后，java的GC便会运行非常频繁，从而导致高CPU(此时可能已经产生了dump文件，但是应用还能访问，只是速度较慢。临时可考虑先重启服务) 相关命令参考常用命令介绍：1-4 高内存常见场景：List集合数据量过大(常见从数据库获取大量数据，而没有进行分页获取) ^2 java.lang.OutOfMemoryError: PermGen space，原因可能为 程序启动需要加载大量的第三方jar包。例如：在一个Tomcat下部署了太多的应用 java.lang.OutOfMemoryError: Java heap space，原因可能为 Java虚拟机的堆内存设置不够，可以通过参数-Xms、-Xmx来调整 代码中创建了大量大对象，并且长时间不能被垃圾收集器收集（存在被引用） 在Java虚拟机中，内存分为三个代 新生代New：新建的对象都存放这里 老生代Old：存放从新生代New中迁移过来的生命周期较久的对象。新生代New和老生代Old共同组成了堆内存 ...

简介 LVS是Linux Virtual Server的简称，也就是Linux虚拟服务器 负载均衡解决方案主要分为硬件层面和软件层面 硬件如：F5等(一台一般15万) 软件可分为第四层和第七层协议：物理层、数据链路层、网络层、传输层、会话层、表示层、应用层 第四层如：lvs LVS 在实现上，介于网络层（IP）和传输层（TCP）之间；只能操作ip和端口，在操作系统内核中 第七层(应用层：http/ajp/https)如：nginx、httpd(apache)、haproxy LVS 的组成包括 ipvs 和 ipvsadm ipvs(ip virtual server)：一段代码工作在内核空间，叫ipvs(所有的linux都有此功能) ipvsadm：另外一段是工作在用户空间，叫ipvsadm，负责为ipvs内核框架编写规则，定义谁是集群服务，而谁是后端真实的服务器(Real Server)。安装yum install ipvsadm -y 相关术语 DS：Director Server。指的是前端负载均衡器节点 RS：Real Server。后端真实的工作服务器 VIP：向外部直接面向用户请求，作为用户请求的目标的IP地址 DIP：Director Server IP，主要用于和内部主机通讯的IP地址 RIP：Real Server IP，后端服务器的IP地址 C ...

简介 Keepalived是一个免费开源的，用C编写的类似于layer3, 4 & 7交换机制软件，具备我们平时说的第3层、第4层和第7层交换机的功能 主要提供loadbalancing（负载均衡）和 high-availability（高可用）功能 负载均衡实现需要依赖Linux的虚拟服务内核模块（ipvs），而高可用是通过VRRP（虚拟路由冗余协议Virtual Router Redundancy Protocol）协议实现多台机器之间的故障转移服务 安装使用 yum -y install keepalived 直接安装 或者源码安装 ^1 systemctl start keepalived 启动 (需要关闭SELinux) 启动后自动绑定虚拟ip，通过ip addr可查看绑定的虚拟ip keepalived.conf配置说明 文件位置 /etc/keepalived/keepalived.conf keepalived配置文件主要包含三块：全局定义块、VRRP实例定义块、虚拟服务器定义块（如果keepalived只用来做ha，虚拟服务器是可选的） 配置说明 ^1 123456789101112131415161718192021222324252627282930313233343536373839404142434445464748495051525 ...

简介 菜鸟教程 memcached集群需要多台服务器时间一致(30s以内) 安装和使用 yum –y install memcached 安装 systemctl start memcached 启动(默认端口11211) 测试存值取值 123456789telnet localhost 11211# 设置变量abc的长度为5set abc 0 0 5# 设置abc的值为12345，长度必须和上面一致12345# 获取abc的值get abc# 退出quit 解决session一致性(session共享)参考《nginx》的【反向代理和负载均衡】部分

简介 regexr JS正则表达式测试 Java正则表达式测试 javascript正则 JS正则表达式测试 参考文章：https://juejin.cn/post/6844903487155732494 语法说明 修饰符 g 全局匹配 i 忽略大小写 m 多行匹配 匹配说明 两种模糊匹配 1234// 横向模糊匹配"abc abbc abbbc abbbbc abbbbbc abbbbbbc".match(/ab{2,5}c/g); // ["abbc", "abbbc", "abbbbc", "abbbbbc"]// 纵向模糊匹配"a0b a1b a2b a3b a4b".match(/a[123]b/g); // ["a1b", "a2b", "a3b"] 字符组 1234// [abc]表示匹配一个字符，它可以是"a"、"b"、"c"之一"abcde".match(/[abc]/g); // ["a", "b", "c"]// [^abc]表示排除字符组，除"a"、"b"、"c"之外的任意一个字符"abcde".match(/[^abc]/g); // ["d", "e"] 贪婪匹配尽可能多的匹配；惰性匹配尽可能少的匹配。惰性匹配可以基于?实现 1234567891011121314151617181920var str = "123 ...

默认配置 后端返回数据字段驼峰(如果通过ObjectMapper字段名转成下划线，前台做好下划线命名的字段映射后传回给后台，此时后台pojo都是驼峰，导致无法转换) 前后台url都以/开头方便全局搜索 url地址和linux文件路径/和//效果是一样的；windows路径则必须是/或者\ Spring 表单操作的dto应该基于业务模式进行解耦，不要耦合到一个dto中 出错场景：使用dto(数据传输对象)接受前端数据后，并BeanUtils.copyProperties将dto复制到po(持久化对象)中，且前端有清除数据库部分字段的需求(此时dto中该字段传入的值为null，并使用mybatis生成的updateByPrimaryKey进行更新)。但是内部字段(一般不会让用户直接修改的)初始化后不应该置空。后来在修改某些需求时(如基于客户直接创建拜访)，不小心简单将内部字段(创建拜访时会从客户中查询到CRM_ID并创建拜访记录)加入到dto中加入了部分其他字段导致，此时普通修改时前端并没有传入CRM_ID，导致将内部字段置空 记录数据变动日志 Mybatis 使用mybatis plus进行通用代码生成 Mybatis Generator生成通用代码 可通过自定义Mapper继承生成的Mapper。(如UserMapperExt extend UserMapper, 可防止因 ...

安装1234567# Oracle JDK 下载https://www.oracle.com/cn/java/technologies/downloads/# JDK 6-13 镜像https://repo.huaweicloud.com/java/jdk/export JAVA_HOME="/Library/Java/JavaVirtualMachines/jdk1.8.0_202.jdk/Contents/Home"export CLASS_PATH="$JAVA_HOME/lib/tools.jar:$JAVA_HOME/lib/dt.jar:." 命令 打包jar 123456# 将当前目录下所有目录/文件及子目录打包成jarjar cvf demo.jar *jar cvf demo.war *## 修改jar中的class文件# 先解压缩 - 目录如(cn、META-INF) - 替换class文件 - 重新压缩 - 选中(cn、META-INF)所有文件进行压缩 - 修改后缀为.jar(尽管包含.DS_Store等文件也无所谓) 运算/控制语句 常用 12345678910// 取余int c = 10 % 3; // 1// 取整int c = 10 / 3; // 3// 精度double c = 10 / 3; // 3.0double c = (doubl ...

简介安装编译启动安装下载 下载：http://ofbiz.apache.org （http://www.apache.org/dyn/closer.lua/ofbiz/apache-ofbiz-13.07.02.zip） 解压：apache-ofbiz-13.07.02.zip到D:\java\apache-ofbiz-13.07.02（路径可自己更改） 使用版本apache-ofbiz-13.07.02的要求是JDK版本至少1.7以上（ofbiz已经封装好了tomcat，在framework-catalina-lib下） 启动 命令行启动 先cmd进入到命令行模式下，cd到你当前的OFBiz的工作环境(D:\java\apache-ofbiz-13.07.02)，也就是你的解压环境。 然后运行 ant load-demo。第一次编译大概需要10分钟。提示”BUILD SUCCESSFUL”即表示部署成功 再运行ant start 。出现类似“finished in [1328] milliseconds”就表示启动服务器成功 访问前台http://localhost:8080/ecommerce 可设置语言为中文，现点击几个链接体验一下。 访问后台https://localhost:8443/ordermgr 提示：此网站的安全证书存在问题。点击“继续浏览此网站(不推荐)。 ...