分类: 程序

Windows下Docker+Spark开发环境搭建
By: Date: 2021年4月13日 Categories: 程序 标签:, ,

一直不想自己搭建环境,一来是觉得有些麻烦,从ZK,Hadoop,到Spark全都得配置一遍太耽误时间,二来公司测试环境的Spark可以用则自己能省也就省了。但后来发现在Docker下部署下来可以这么轻松,于是也就自己搞了一套。简单来说docker-compose是Docker下的一个编排工具,通过使用配置文件的方式来编排,创建和管理容器,使得集群化的容器环境管理起来更加方便。这里就使用BDE Pipline Application来构建部署Spark开发环境。... 阅读详情

Read More →
关于线程池,你该知道的都在这儿!
By: Date: 2021年2月24日 Categories: 程序 标签:, ,

线程池的优点自不必说,重用已有的线程,可以有效减少线程创建及销毁对性能造成的损失。并且通过有效控制线程数量,可以避免资源拥堵,或提高系统资源的使用率。但如何用好线程池才是重点,本篇就通过一个简单的例子,重温线程池相关的知识点。... 阅读详情

Read More →
极简的多数据源动态切换配置
By: Date: 2021年2月4日 Categories: 程序 标签:

项目上常常需要多个数据源来存取数据,最近项目上试用了Tidb,因为兼容MySql协议,我们可以直接像Mysql一样在项目中进行配置。那么如何快速的将单一的数据源改成多数据源,并能够在项目中动态的切换就是本次要说的事情。下面精简并省略了无关代码,主要使用`AbstractRoutingDataSource`实现,使用AOP切换,在此记录配置过程以便查阅,分分钟解决问题。... 阅读详情

Read More →
大数据量写入Excel,试试EasyExcel
By: Date: 2020年11月5日 Categories: 程序 标签:

一直认为大数据量,如几百万上千万的数据写入到Excel是一个极度不合理的需求。对于一个企业来说这么大的数据存在极易泄露的风险,同时也无法对转储的文件及使用环节进行安全管控。而通过线上各个业务系统的打通,形成线上的完整闭环,才能使数据的流转以及使用得到有效的监管和监控。但是在实际的项目中,这样的需求屡屡皆是,尤其出现在与第三方客户业务对接过程中。... 阅读详情

Read More →
想自由配置并动态获取日期区间?那就用一个表达式搞定
By: Date: 2020年9月29日 Categories: 程序

给定这样一个场景,现在我们要在特定的某一天里,来汇总业务系统中某一段时间内的数据。在这基础上再加上一个要求,那就是不同的业务类型数据,汇总时间及区间也不同。这样的需求场景看起来是很合理,那么在这样的背景要求下,汇总数据很简单,但是如何拿到动态的时间区间,并且我们的汇总时间能够动态的配置,怎么能够方便快速的满足需求呢?... 阅读详情

Read More →
使用Sharding-JDBC加密数据
By: Date: 2020年8月31日 Categories: 程序 标签:

项目在运行过程中,难免会存储一些敏感的信息,如用户手机号,住址,身份证号,银行卡号等等,这些以明文的方式存储在DB中是极其不安全的,尤其当我们的研发,运维都对数据库表拥有权限时,用户敏感信息泄露就可能会在不经意间发生。因此对于安全责任感重于泰山的公司来说,数据加密至关重要。... 阅读详情

Read More →
开源前后端分离快速开发基础框架
By: Date: 2020年6月26日 Categories: 案例,程序 标签:

最近才发现,之前在github上上传的jwt的示例项目竟也有125个星星,虽不多,但是作为首次上传的项目还是有点儿激动的。所以趁着端午有空,就又完善了下,升级了一些有漏洞的依赖到较新的版本,也对代码做了一些优化。将前端的vue-cli也更新到了3.*,没有添加太多的功能,主要包含的是用户及基础的权限控制,集成了单点的定时任务等,对于学习或者接一些小的项目还是可以的。... 阅读详情

Read More →
新家已搬,欢迎光临!
By: Date: 2020年6月22日 Categories: 程序 标签:,

前几天,使用已久的windows服务器已然到期,于是打算把blog迁出去。考虑到已经用习惯了的wordpress比较顺手,就不再打算更换其他的系统。那面临的一个重要问题就是迁移。尝试了导出插件,但在导入的时候遇到问题,又因为没配置发邮件功能,也不想去用他的debug功能。同时还考虑到之前安装的插件对原有数据库的侵入,因为一部分插件已经不需要安装。好吧,爱干净的我就选择了重新安装,再单独迁移数据和已上传的文件资源。一阵操作猛如虎之后,blog又回来了。选择一个清爽的模板,少了很多插件,一切又回到了从前。这里就记下搬家的过程好了。... 阅读详情

Read More →
快速开发一个简单的Chrome插件
By: Date: 2020年6月20日 Categories: 程序 标签:

假设有这样一个场景,在一个订票的网站里,我们要为一起出游的20多个人订票,那么我们需要将这些人的姓名及证件号码分别在网页上录入。如果我们只一次性的订票,那么还是可以忍受,但是如果你是旅行社或者是从事这方面的工作,每天都是如此,仿佛就变成了一种负担,倘若再加上一个限制条件,每天的票量是有限的,那么在需要抢票的情况下,当然谁的操作越迅速,买票成功率就会越大。这个时候,有一个帮我们自动填写的浏览器插件,效率便会大大提高。Chrome的插件还是很方便的,它可以帮助我们在需要的页面上执行自己的一些代码,根据需求完成一些繁琐的操作,这时使用Chrome插件就是一个快捷的选择。... 阅读详情

Read More →
Springboot集成Quartz实现动态定时任务
By: Date: 2019年8月30日 Categories: 程序 标签:,

Quartz是一个强大的作业调度框架,在这之前我们已经使用Quartz实现了很多自定义的定时任务,如数据库备份,定时发送消息等,并且很多分布式作业调度中心系统均以它为基础实现此类功能。这篇是在单体的Springboot 2.*应用下集成quartz框架,实现动态更改任务执行状态及触发时间等。... 阅读详情

Read More →