分类: 程序

JAVA类实现导出数据库多表INSERT语句
By: Date: 2022年5月10日 Categories: 程序 标签:

最近要把生产数据库的部分基础配置数据同步到新的测试环境用于测试使用,但由于生产环境网络和测试环境不通,DBA又不给支持,那么只能自己动手丰衣足食了。原本MySQL安装目录下可以使用mysqldump命令来对mysql数据库进行转储或者备份,它通过连接MySQL数据库,将需要转储的数据查询出来,再将查询结果转换成对应的Insert语句。通过这种方式,可以对单个库,多个库,或者多张表进行转储。但是有一个前提是我们需要知道数据库的安装目录或者能够使用这个命令来操作。但是现在我们没有,于是唯一的办法就是自己来加工了。... 阅读详情

Read More →
记一次线上应用宕掉的问题分析
By: Date: 2022年1月27日 Categories: 程序 标签:

前几天生产服务器上部署的应用出现了故障,搞的兄弟们惊出一身冷汗。几十个节点的应用正一个接一个的挂调,持续下去会直接导致提供给外部的高并发服务不可用,影响一系列上下游业务正常进行。在观察后台的监控后发现,CPU正常,但内存在一个很短的时间内出现飙高的情况。观察了几台挂掉的机器,都是相同的问题。为了在出现问题后为不影响线上业务,让同事第一时间对出现问题的应用进行了重启。重启之后,服务又稳定正常运行,事后我们对线上的问题进行了具体的分析。... 阅读详情

Read More →
Controller写一个就够了,其他的都简单了
By: Date: 2021年12月8日 Categories: 程序 标签:

基础的代码写的越多,就越不想再重复的去写。总有一天当你对所有Controller都厌烦的时候,就该静下来想想能否将代码更加的抽象,精炼,或者做成一个通用的功能,让我们不用增加一张数据表就需要去写一套接口。在这里,分享一个通用的Controller基类来集成这些通用的操作抛砖引玉,在这样的一个BaseController基类中,我们需要考虑的是在原来独立的Controller上所做的工作如何通用的在基类上实现。... 阅读详情

Read More →
Swagger3快速构建OpenApi3.0接口文档
By: Date: 2021年10月4日 Categories: 程序 标签:

做项目经常要写的,不只是代码,也不是寂寞,而是文档。项目文档,设计文档,接口文档等等。那接口文档怎么写,大家都知道用Swagger。但一说到Swagger,就不得不提一下OpenAPI。简单来说,OpenAPI简称OAS,即OpenAPI Specification,是一个用于定义和描述API的语言规范,可以通过这套规范,在向第三方的开发者提供对外暴露的接口服务时,大家达成统一的标准。... 阅读详情

Read More →
Windows下Docker+Spark开发环境搭建
By: Date: 2021年4月13日 Categories: 程序 标签:, ,

一直不想自己搭建环境,一来是觉得有些麻烦,从ZK,Hadoop,到Spark全都得配置一遍太耽误时间,二来公司测试环境的Spark可以用则自己能省也就省了。但后来发现在Docker下部署下来可以这么轻松,于是也就自己搞了一套。简单来说docker-compose是Docker下的一个编排工具,通过使用配置文件的方式来编排,创建和管理容器,使得集群化的容器环境管理起来更加方便。这里就使用BDE Pipline Application来构建部署Spark开发环境。... 阅读详情

Read More →
关于线程池,你该知道的都在这儿!
By: Date: 2021年2月24日 Categories: 程序 标签:, ,

线程池的优点自不必说,重用已有的线程,可以有效减少线程创建及销毁对性能造成的损失。并且通过有效控制线程数量,可以避免资源拥堵,或提高系统资源的使用率。但如何用好线程池才是重点,本篇就通过一个简单的例子,重温线程池相关的知识点。... 阅读详情

Read More →
极简的多数据源动态切换配置
By: Date: 2021年2月4日 Categories: 程序 标签:

项目上常常需要多个数据源来存取数据,最近项目上试用了Tidb,因为兼容MySql协议,我们可以直接像Mysql一样在项目中进行配置。那么如何快速的将单一的数据源改成多数据源,并能够在项目中动态的切换就是本次要说的事情。下面精简并省略了无关代码,主要使用`AbstractRoutingDataSource`实现,使用AOP切换,在此记录配置过程以便查阅,分分钟解决问题。... 阅读详情

Read More →
大数据量写入Excel,试试EasyExcel
By: Date: 2020年11月5日 Categories: 程序 标签:

一直认为大数据量,如几百万上千万的数据写入到Excel是一个极度不合理的需求。对于一个企业来说这么大的数据存在极易泄露的风险,同时也无法对转储的文件及使用环节进行安全管控。而通过线上各个业务系统的打通,形成线上的完整闭环,才能使数据的流转以及使用得到有效的监管和监控。但是在实际的项目中,这样的需求屡屡皆是,尤其出现在与第三方客户业务对接过程中。... 阅读详情

Read More →
想自由配置并动态获取日期区间?那就用一个表达式搞定
By: Date: 2020年9月29日 Categories: 程序

给定这样一个场景,现在我们要在特定的某一天里,来汇总业务系统中某一段时间内的数据。在这基础上再加上一个要求,那就是不同的业务类型数据,汇总时间及区间也不同。这样的需求场景看起来是很合理,那么在这样的背景要求下,汇总数据很简单,但是如何拿到动态的时间区间,并且我们的汇总时间能够动态的配置,怎么能够方便快速的满足需求呢?... 阅读详情

Read More →
使用Sharding-JDBC加密数据
By: Date: 2020年8月31日 Categories: 程序 标签:

项目在运行过程中,难免会存储一些敏感的信息,如用户手机号,住址,身份证号,银行卡号等等,这些以明文的方式存储在DB中是极其不安全的,尤其当我们的研发,运维都对数据库表拥有权限时,用户敏感信息泄露就可能会在不经意间发生。因此对于安全责任感重于泰山的公司来说,数据加密至关重要。... 阅读详情

Read More →