发表于 | 分类于
简介 Quartz是OpenSymphony开源组织在Job scheduling领域又一个开源项目 官网 Doc v2.3.0 核心概念 Job 表示一个工作，要执行的具体内容。此接口中只有一个方法，void execute(JobExecutionContext context) JobDetail 表示一个具体的可执行的调度程序，Job 是这个可执行程调度程序所要执行的内容，另外 JobDetail 还包含了这个任务调度的方案和策略 Trigger 代表一个调度参数的配置，什么时候去调 为JobDetail字表，必须和JobDetail的JobKey一致(JobName+JobGroup)，一个JobDetail可以有多个Trigger Scheduler 代表一个调度容器，一个调度容器中可以注册多个 JobDetail 和 Trigger。当 Trigger 与 JobDetail 组合，就可以被 Scheduler 容器调度了 常用实现类为StdScheduler 而QuartzScheduler不属于此Scheduler，QuartzScheduler属于Quartz内置的调度器，用于增删改查任务即触发器等，调度逻辑在QuartzSchedulerThread中 cron表达式在线生成 执行原理 Quartz是通过一个调度线程不断的扫描数据库中的数据来获取 ...
阅读全文 »

发表于 | 分类于
开发者账号及打包 苹果账号类型 个人开发者账号：App可提交到AppStore，99美元/年，仅限开发者自己，不需要邓百氏编码 公司开发者账号：App可提交到AppStore，299美元/年，允许多个开发者协作开发，需要邓百氏编码 企业开发者账号：App不能提交到AppStore，299美元/年，允许多个开发者协作开发，需要邓百氏编码 使用企业开发帐号，我们可以发布一个 ipa 放到网上，所有人（包括越狱及非越狱设备）都可以直接通过链接下载安装，而不需要通过 AppStore 下载，也不需要安装任何证书 当然，使用企业帐号发布的 iOS 应用是不能提交到 AppStore 上的。而且企业级开发账号也比个人帐号更贵些（299刀/年） 既然叫企业帐号，就说明是用来开发企业自己的内部应用，给自己的员工使用的。所以不要用企业号做大规模应用分发的一个渠道，否则有可能会被苹果封账号 IOS应用分发方式 使用个人开发者账号或公司开发者账号提交到AppStore进行分发（测试阶段通过添加测试设备uuid） 使用签名方式通过ipa分发(不上架AppStore) 苹果签名是苹果公司提供给第三方开发者在内测阶段用于分发测试的一种机制，通过企业开发者账号生成的p12文件实现签名分发 企业签名 无安装数量限制 第三方签名不稳定，容易掉签 需要信任操作，且信任入口较深 TestFlight(T ...
阅读全文 »

发表于 | 分类于
日志框架 日志框架一般分为编程API和日志打印实现。编程API为应用程序基于此API进行编程，如slf4j；打印实现为实现了上述API的模块进行日志打印到控制台或文件，如logback-classic slf4j、jcl、jul、log4j1、log4j2、logback大总结：https://my.oschina.net/pingpangkuangmo/blog/410224 logging: jdk自带logging log4j1(包org.apache.log4j) log4j: log4j1的全部内容(org.apache.log4j.*)。获取对象如 Logger.getLogger(Demo.class) log4j2(包org.apache.logging.log4j) log4j-api: log4j2定义的API。获取对象如 LogManager.getLogger(Demo.class) log4j-1.2-api: log4j到log4j2的桥接包。具体说明参考log4j log4j-core: log4j2上述API的实现 log4j-nosql: 可选,将log4j2输出到mongodb等数据库 logback logback-core: logback的核心包 logback-classic: logback实现了slf4j的API co ...
阅读全文 »

发表于 | 分类于
简介 版本：Mac M1 11.4 M1是苹果基于arm架构设计的芯片 Mac软件下载 https://macwk.cn/ https://www.macapp.so/ 收费 https://www.zhiniw.com/ https://xclient.info/ https://www.mfpud.com/ https://iosmacapps.com/ 老外 https://appstorrent.ru/ 俄罗斯 https://foxirj.com/ https://www.macbl.com/ ~~ https://www.macwk.com/ ~~ 应用闪退问题解决如下 https://www.macwk.com/article/apple-silicon-m1-application-crash-repair https://www.macwk.com/article/macos-beta-damage M1模拟x86环境 Mac M1(默认只能执行arm结构)执行x86(Intel)程序，可基于Rosetta，参考下文安装多版本brew 参考: https://notemi.cn/installing-python-on-mac-m1-pyenv.html 参考上文安装完后设置命令别名(brew和pyenv可选) 12345678910111213141 ...
阅读全文 »

发表于 | 分类于
使用 IDEA右键测试包, 一件运行包下的所有 Tests 断言 方法 说明 示例 assertEquals(expected, actual) 判断两个值相等 Assertions.assertEquals(2, 1 + 1) assertNotEquals(unexpected, actual) 判断两个值不相等 Assertions.assertNotEquals(3, 1 + 1) assertTrue(condition) 判断条件为 true Assertions.assertTrue(list.isEmpty()) assertFalse(condition) 判断条件为 false Assertions.assertFalse(list.isEmpty()) assertNull(actual) 判断对象为 null Assertions.assertNull(user) assertNotNull(actual) 判断对象不为 null Assertions.assertNotNull(user) assertSame(expected, actual) 判断两个对象引用相同（地址相等） Assertions.assertSame(list1, list2) assertNotSame(unexpected, actual ...
阅读全文 »

发表于 | 分类于
相关工具说明 数据抽取层 sqoop(结构化关系型数据抽取)、flume(非结构化日志接入) 数据存储层 hadoop-hdfs、kafka(流式总线) 计算调度层 离线计算：hive、spark、MR、tez 实时计算：storm、spark、近年来flink也较多 数据调度：Airflow Azkaban Oozie等、Dolphin-scheduler 查询引擎层：ROLAP、MOLAP以及二者混搭 Hbase ES Apache Kylin Apache Druid https://www.cnblogs.com/tree1123/p/12866898.html https://blog.csdn.net/qq_38704184/article/details/106507062 TiDB Impala ClickHouse Presto http://www.360doc.com/content/20/0815/19/22849536_930520678.shtml Hawq Spark SQL Greenplum HANA 数据可视化层 基础框架：ECharts、D3、Three.js 商业：Tableau、DataV、FineReport、FineBI、PowerBI(微软) 开源：Bokeh、Matplotlib、Metabase、Super ...
阅读全文 »

发表于 | 分类于
简介 本项目源码参考smjava/bigdata-hadoop-project 可通过站长工具查看某网站的每日PV值(只有通过百度等外链进入网站的才会统计，直接输入网址无法被此类工具统计到)，从而估算一下网站每日产生的数据量 集群大小 中小型30-50台，100台以上可认为是较大集群了 三一共6套集群：最新12台机器，最大68台，都是基于128G来说的；北京某交通分析，38台集群 spark(充分利用内存)、redis、hbase这种内存消耗较大的一般不混合部署；zk、hadoop这种可以混合部署 日志大小(按天算) 条数：千万级别-亿级别 大小：几百个G，中大型集群可能上PB/T；条数(PV数) * 每条大小(如1KB左右) 用户行为分析需求 本项目分别从七个大的角度来进行用户行为分析 用户基本信息分析模块 用户基本信息分析模块主要是从用户/访客和会员两个主要角度分析浏览相关信息，包括但不限于新增用户，活跃用户，总用户，新增会员，活跃会员，总会员以及会话分析等 浏览器信息分析模块 在用户基本信息分析的基础上添加一个浏览器这个维度信息：浏览器用户分析、浏览器会员分析、浏览器会话分析、浏览器PV分析 地域信息分析模块 活跃访客地域分析、跳出率分析(分析各个不同地域的跳出率情况) 用户浏览深度分析模块 外链数据分析模块 主要分析各个不同外链端带来的用户访问量数据： ...
阅读全文 »

发表于 | 分类于
简介 Use Apache HBase™ when you need random, realtime read/write access to your Big Data. This project’s goal is the hosting of very large tables – billions of rows X millions of columns – atop clusters of commodity hardware. Apache HBase is an open-source, distributed, versioned, non-relational database modeled after Google’s Bigtable: A Distributed Storage System for Structured Data by Chang et al. Just as Bigtable leverages the distributed data storage provided by the Google File System, Apache HBase provides Bigtable-like capabilities on top of Hadoop and HDFS. 官网、wiki v2.3、hbase相关配置说明 HBa ...
阅读全文 »

发表于 | 分类于
简介 VBScript是 Visual Basic Script 的简称，即 Visual Basic 脚本语言，有时也被缩写为 VBS VBScript 是微软开发的一种脚本语言。使用 VBScript，可通过 Windows 脚本宿主调用 COM，所以可以使用 Windows 操作系统中可被使用的程序库 VBScript 一般被用在以下个方面 VBScript 经常被用来完成重复性的Windows 操作系统任务 用来指挥客户方的网页浏览器。在这一方面，VBS 与JavaScript 是竞争者 VBS相关脚本参考：https://www.jb51.net/list/list_114_1.htm 基本语法 '表示注释 不区分大小写 变量 变量声明：可以使用 Dim、Public 或 Private 语句来声明变量 123456789101112'简单变量dim namename=some value'数组变量：创建了一个包含2个元素的数组dim names(2)names(0)="George"names(1)="John"father=names(0)'多维数组dim table(4, 6) 程序123456789101112131415'子程序(无返回值)Sub mysub(argument1,argument2) some statementsEnd Sub ...
阅读全文 »

发表于 | 分类于
简介 The Apache Hive ™ data warehouse software facilitates reading, writing, and managing large datasets residing in distributed storage using SQL. Structure can be projected onto data already in storage. A command line tool and JDBC driver are provided to connect users to Hive. Hive官网、下载、源码 Hive是基于Hadoop的一个数据仓库工具，用来进行数据提取、转化、加载，这是一种可以存储、查询和分析存储在Hadoop中的大规模数据的机制 hive数据仓库工具能将结构化的数据文件映射为一张数据库表，并提供SQL查询功能，能将SQL语句转变成MapReduce任务来执行 hive基于hdfs做存储，基于mr进行计算(将sql语句转成mr程序) Hive产生的原因 方便对文件及数据的元数据进行管理，提供统一的元数据管理方式 提供更加简单的方式来访问大规模的数据集，使用SQL语言进行数据分析（无需写MapReduce程序，降低数据分析门槛） 架构图 用户访问接口 CLI（Command Li ...
阅读全文 »