
正文
包含postgresql定时器的词条
提示:扫一扫查出行【扫一扫了解最新限行尾号】
复制提示
有没有技术大牛了解java开发,测试和CI的关
大家可能对如下情景比较熟悉:
如果开发过SSH的web项目,启动服务器可能会比较慢,有的项目甚至需要1分多钟,甚至更多,这个启动时间的等待一般就浪费了;
在开发项目时,有些功能比较复杂,当时觉得思路特清晰,但是过了一段时间后,自己也忘了,完善功能时频繁出现bug,降低开发速度;
在维护项目时,不知道自己修改的对还是不对,是否存在隐患;维护速度降下来了;
如果开发一个很多人都使用的接口,典型的如用户系统,要保证比如升级时向下兼容;
在团队间协作时,有时候只定义好接口,对方还没有给实现,如何进行同步开发?
如上问题,估计只要是个开发人员,都可能遇到过;如果此时有了单元/集成测试,那我们能很好的解决这些问题。(注:加下来如果没有特殊情况,不刻意强调 单元测试/集成测试,即提到测试是指的是单元/集成测试)
我从以下几个方面介绍测试:
1、为什么需要测试?
2、如何进行测试?
3、测试有哪些好处?
4、一切都需要测试吗?
1、为什么需要测试?
测试的目的是什么?我的理解是:
缩短发现问题到解决问题的速度;
给程序一个修改后能验证是否正确的保证;(回归测试)
如果是开源软件,我们可以通过单元测试了解其是怎么使用的;比如我之前通过cglib的单元测试学习过cglib的使用;
所以如果你遇到如上问题,就需要写测试。写测试可能是为了自己(1、2);也可能是为了帮助别人(3)。
2、如何进行测试?
很多朋友不知道如何进行测试,其实测试很简单,别把它想复杂了,按照自己的想法测试每个功能点是否正确即可。
2.1、测试流程
单元测试流程
集成测试流程
集成测试流程
可以看出,单元测试与集成测试唯一不同点是一个调用依赖系统而一个不调用;因为单元测试是最小粒度的测试,如在Java中是测试一个类,不会测试依赖系统;而集成测试是会测试依赖系统的。
测试的步骤:
准备环境
调用被测系统
验证
清理环境
环境:也叫做夹具(fixture)或者固件,表示调用被测系统时需要准备/清理的数据等等;
被测系统:在Java中就是要测试的类,如UserService;
依赖系统:测试被测系统时,其依赖的部分,如UserDao;
测试用例:包含测试方法的类,里边有很多测试方法来测试被测系统。
接下来仔细看看各部分都做了哪些工作。
2.2、环境
环境,也叫做夹具(fixture),表示调用被测系统时需要准备/清理的数据等等;保证测试时环境是干净的,如不被之前的数据库数据影响;保证每次测试都是在干净/新鲜的环境中执行的。所谓干净的环境表示如当前测试不被之前测试插入/删除/修改的数据造成影响。在junit中可以使用:
@Before(setUp) 安装夹具或准备环境:在测试用例的每个测试方法之前执行;比如创建新鲜的被测系统,单元测试时安装Mock的依赖系统;
@After(tearDown)卸载夹具或清理环境:在测试用例的每个测试方法之后执行;比如数据库测试时回滚事务,删除数据;关闭文件;
@BeforeClass:在整个测试用例之前执行;
@AfterClass:在整个测试用例之后执行;
使用如上方法,而不是直接在测试方法中安装/卸载;是因为不管有没有异常,@After/@AfterClass都会执行,这样防止出现异常可能造成环境是不新鲜的问题。
如果大家使用spring test来测试数据库相关的系统,可以考虑使用@TransactionConfiguration来支持默认事务回滚,这样不会对现有系统造成影响。具体可参考《【第十三章】 测试 之 13.1 概述 13.2 单元测试 ——跟我学spring3》和《【第十三章】 测试 之 13.3 集成测试 ——跟我学spring3》
测试时一定要保证环境是干净/新鲜的,才能保证每次测试的结果是一样的。
2.3、被测系统与依赖系统
被测系统:在Java中就是被测试的Java类。
依赖系统:就是被测试Java类依赖的其他类。
如果是单元测试,一般情况下,会对依赖系统进行模拟(Mock),即给它一个假的实现;典型的如测试服务层时注入一个Mock的DAO层,这样的好处:
加快测试速度;因为不会调用真实的被测系统,所以速度特别快;
测试还没有完成的功能;尤其在多团队协作时,可以只在定义好接口的情况下开发系统;
如果是集成测试时,直接注入真实的依赖系统即可,好处:
完成联调;
发现自己的问题;
还可能发现自己使用上问题及使用的API的问题;
单元测试虽然好,但是是隔离测试,即不会调用被测系统来完成测试,因为不是真实的联调,所以很可能会潜在有一些问题,因此还是需要集成测试。(所以不是很刻意分单元或集成测试,且有些系统可能只有集成测试)
但是集成测试速度是比较慢的,一般提交给CI执行,不影响当前开发进度。
2.4、验证
验证的目的:是保证实际结果和我们预期的结果是否一致,说白了就是是否是我们想的那样。
一般使用断言来验证,如:
Assert.assertEquals(expectedResult, actualResult); //验证预期结果和实际结果是否相等
验证主要有两种:
结果验证
行为验证
结果验证:即验证被测系统返回的结果是否正确,如:
Java代码
@Test
public void testCount() {
String ql = "select count(o) from User o";
long expectedCount = repositoryHelper.count(ql) + 1;
User user = createUser();
repositoryHelper.getEntityManager().persist(user);
long acutalCount = repositoryHelper.count(ql);
Assert.assertEquals(expectedCount, acutalCount);
}
验证返回的数据总数 = 插入之前的总数 + 1; 即结果验证。此处我们使用了一种叫做相对(delta)测试;即不关心数据库里到底多少条,只关心实际的和预期的差。
行为验证:即验证被测系统是否调用了依赖系统的某个API ,这个只有当我们使用Mock时测试时比较简单,如当用户注册时:
1、加积分
2、发系统消息
3、……
此时我们并不能通过结果验证是否调用了这些方法;那么我们可以使用Mock技术来完成验证是否调用了这些API,比如使用jmock测试框架就支持行为验证。集成测试是很难进行行为验证的,如果测试需要预留间谍接口。
3、测试有哪些好处?
我们写代码的目的是正确的完成某个功能,如何保证正确呢?测试!所以在不使用如单元测试技术时,我们也是需要测试,但是这个测试是我们人工验证的。缺点很明显:
不是自动的,每次需要对比预期结果与实际结果,尤其数据量/逻辑复杂时更痛苦;
不是回归的,上次测试完成后,下次还得重复自己一遍;
为了解决这个问题,我们使用如单元测试技术来解决这个问题:
测试自动化;即验证预期结果与实际结果交给计算机吧;
测试回归性,可以重复执行测试,验证修改后逻辑是否还是正确的;
即测试的好处,从如上已经提炼出来了:
缩短发现问题到解决问题的时间;
重复使用测试,保证修改后的代码还是正确的;
如果做开源项目,可以提供给使用人员参考如何使用;
因为单元测试都非常快,所以提升了开发速度;
4、一切都需要测试吗?
肯定不是,一切都是相对的;哪些不需要测试呢:
你非常熟悉的功能;
一些简单的CRUD;
你认为不需要测试的;比如你很有把握的东西,就没有必要浪费时间测试了;
哪些需要测试呢:
复杂的业务逻辑/系统核心功能,最典型的如订单系统:一定要有足够的单元测试保证,这是一个电商系统的核心;还有如用户系统、积分系统等等;
框架级别/工具级别/通用级别的代码需要测试,即提供给第三方使用的代码,因为这些代码可能被很多系统依赖,应该保证其正确性;而且还要保证以后版本升级的向下兼容;
你认为需要测试的,比如你没有把握的东西,还是写点测试来缩短如开发web项目的重启系统的时间吧;
测试不是不耗时间的,没意义的测试就是浪费时间,最典型是一些书上的对一个增删改查进行测试,实际项目没有任何意义。所以你应该只对自己很难驾驭的觉得有必要的代码进行测试。不要成为一个测试狂,什么都测试。
一些测试可以参考我的《es——JavaEE快速开发脚手架》中的代码。通过测试我得到了许多好处。
到此我们介绍完成了测试,但是如果我们使用了如集成测试时,测试执行起来可能比较慢,跑一遍测试可能需要5分钟,那怎么办呢?
每天下班前跑一遍集成测试,然后修复,下班走人;
CI:持续集成,交给持续集成服务器,自动地测试完成后把测试报告以邮件的形式发到开发人员邮箱;
------------------------------------分割线----------------------------------
接下来介绍一下CI吧。
1、为什么需要CI
2、CI如何工作的
3、travis-ci介绍
1、为什么需要CI
正如前边说的,我们单独测试可能会遇到如下问题:
如果写了一个测试,就要把所有测试跑一遍看看整个系统是否是正确的,那么每次等待时间是非常漫长的;
如果团队中的其他成员改了功能并提交了,如何快速得到该次提交对当前系统代码是正确还是失败的反馈;
那怎么办呢?自动化地持续集成(CI)!CI的核心就是干这件事情的。自动化持续地集成测试。
使用CI后,如果使用Maven,可以新建多个profile:
本地测试时忽略一些比较慢的测试;
CI服务器上执行所有测试;
2、CI如何工作的
一个典型的持续集成流程:
定期检测版本服务器上是否有代码更新;
如果发现代码更新,从版本服务器下载最新的代码;
自动构建并自动化的测试;
不管错误/失败,生成报告给开发人员;
有些CI服务器还能产生可执行的软件,自动化地部署到测试机器,交给测试人员测试。
如图所示:
持续集成服务器其实就是一个定时器,自动帮你下载最新代码、编译、测试、集成及产生报告发给开发人员。
常见的CI服务器有:
Apache Continuum
Hudson
CruiseControl
Jenkins CI
TeamCity
Travis CI
我09年时使用过TeamCity社区版,足够满足常见需求;目前我使用github托管项目,使用Travis CI进行分布式的持续集成,免费,目前看来还是不错的。
3、travis-ci介绍
我现在开发的ES-JavaEE项目开发脚手架就是使用travis ci进行持续集成;具体参考《Getting started》进行与Github集成,其支持的语言:
C
C++
Clojure
Erlang
Go
Groovy
Haskell
Java
JavaScript (with Node.js)
Objective-C
Perl
PHP
Python
Ruby
Scala
支持的数据库:
MySQL
PostgreSQL
MongoDB
CouchDB
Redis
Riak
RabbitMQ
Memcached
Cassandra
Neo4J
ElasticSearch
Kestrel
SQLite3
更多请参考其官网的介绍。
如果是Java开发人员,支持的JDK包括:OpenJDK 和 OracleJDK。 如果使用的是OpenJDK,Maven中使用ascii2native插件时,需要如下配置:
Java代码
plugin
groupIdorg.codehaus.mojo/groupId
artifactIdnative2ascii-maven-plugin/artifactId
version1.0-alpha-1/version
executions
execution
phasegenerate-resources/phase
goals
goalnative2ascii/goal
/goals
configuration
encodingUTF-8/encoding
srcsrc/main/messages/src
desttarget/${project.artifactId}/WEB-INF/classes/dest
includesmessages.properties/includes
/configuration
/execution
/executions
!-- native2ascii 使用的tools.jar --
dependencies
dependency
groupIdcom.sun/groupId
artifactIdtools/artifactId
version1.7.0/version
scopesystem/scope
systemPath${java.home}/../lib/tools.jar/systemPath
/dependency
/dependencies
/plugin
如果使用mysql,端口只能是3306。
如果想开端口测试,这是不允许的。
如下是我项目中的一个配置.travis.yml,放到项目的根下即可:
-----------------------------------
language: java 语言
env: 环境
- DB=mysql 使用mysql
jdk:
- openjdk jdk使用openjdk
mysql:
database: es 数据库名为es
username: root 用户名为root
password : 密码为空
encoding: utf8 编码为utf8
install: 安装时执行的脚本
- mvn install -Dmaven.test.skip=true mvn安装并跳过测试
before_script: script之前执行的测试
- cd web
- mvn db:create 创建数据库的mvn命令(此处使用了 maven-db-plugin 插件)
- mvn db:schema 创建脚本的mvn命令
- mvn db:data 安装数据的mvn命令
- cd ..
script: 测试时执行的脚步
- cd common
- mvn test 测试common子模块
- cd ..
- cd web
- mvn test -Pit 测试web子模块,并指定使用it profile测试(即集成测试的配置,具体参考pom.xml中的profile/it)
notifications: 触发
email: 测试完成后测试报告发到哪
- zhangkaitao0503@gmail.com
-----------------------------------
持续集成不能修复代码的错误,而是和单元测试一样,缩短发现问题带解决问题的时间,这样可以提高开发效率,降低项目风险,提高项目的稳定性。而且尤其是团队协作时,可以发现其他人的代码是否对自己的代码产生影响。
到此我们利用单元测试+CI可以加速开发人员的开发速度。利用好单元测试和CI,不要纯粹为了单元测试和CI而去做这些事情。
本文没有介绍TDD,TDD并不会那么美好,我认为我们可以借鉴TDD的一些思想,但决不能迷信TDD,有时候,尤其如开发企业应用,先写功能再写测试可能效率更高,而且大部分时候是不需要TDD的。而且我也没能在实际项目中获取太多TDD的好处,但是我获得了测试的好处。
本文也没有介绍测试覆盖率,我认为不要一味的追求覆盖率,有时候有的覆盖率没有任何意义。所以不要让为了覆盖率而覆盖率拖慢了项目开发进度。
正如stackoverflow上的一篇帖子《How deep are your unit tests?》上Kent Beck的回答:
写道
老板为我的代码付报酬,而不是测试,所以,我对此的价值观是——测试越少越好,少到你对你的代码质量达到了某种自信。
可以前往coolshell的“单元测试要做多细?”去得到一些经验。
相关问答
Q1: QT多线程查询数据库显示到tablewidget里面
1、线程内注册与连接数据库的竞争问题
文档上对多线程下数据库应用的注意事项写的很简明,一个线程创建的 QSqlDatabase 对象和 查出来的 QSqlQuery 对象只能给本线程用(注意,是对象,不是数据库连接本身,连接本身用名字可以多线程使用),其他情况是“不支持的”。在一个需要有几个线程并发访问不同数据库的应用中,我首先试图在各个线程的起始分别以不同的名称调用 addDatabase / database 、open,但是程序偶然会崩溃,跟踪后发现,虽然Qt 声称很多方法是“线程安全”的,但是几个方法串起来,就出问题了。Qt 会动态的加载数据库的plugin, 加载 plug in 的部分,涉及到对本地库文件的管理,这一部分,出现了竞争。于是,很自然的想到在初始连接部分设置 Mutex 保护,从 addDatabase / database到 open 的部分,要保证其原子性,问题再也没有出现。
2、数据库连接意外断裂后,恢复连接的问题
在MFC 中,一旦中途TCP连接断裂,直接重新 Open 就可以了。在Qt 里,这一招不好使了。即便 调用了 close ,再次open 也是不行的。处理方法:
在检测到问题出现后,关闭连接,并 removeDatabase; 而后,不要立刻 addDatabase, 反而是要回到该连接所在的事件循环。没有详细跟源码,很可能在 removeDatabase 后的事件循环中,Qt 内部做了一些释放操作。 怎么办呢, 可以设置一个恢复定时器,比如 1分钟,重新 addDatabase,就可以啦。如果心急的话,直接显式调用processEvent() 方法强制循环。
在多线程下,注意1中的问题,需要 Mutex保护。
3、数据库插件的依赖性问题
在 Windows 下,有时我们的机器上按了好几个 Qt 版本,PATH里索性神马也不设置,依赖开发环境的继承环境适应不同的版本。这有两个问题。一是发布程序的时候,数据库驱动依赖的dll 也要与可执行文件在同一路径下发布。比如 mysql 的 dll, PostgreSQL 的依赖等。二是在集成开发环境中,这些依赖也要位于执行档文件夹下。否则,会造成虽然可以枚举到可用驱动,但是死活连接不上。调试一下就知道,原来是在路径中找不到依赖项,导致dll加载失败哦!
Q2: 一般企业级低代码开发平台,都有哪些具体功能?
众所周知,每家公司在发展过程中都需要构建大量的内部系统, 如运营使用的用户管理后台,销售线索后台,双十一活动后台等。许多公司内部也会聘请专业的研发团队负责开发各类后台和内部工具,大量的公司为此付出了高额的成本,工程师也因需求量大反复构建基础代码,并在这种重复造轮子的行为中磨灭了创造的热情。那么一款低代码的出现,就显得弥足珍贵了,非常方便。
一、体验过程
大致流程我体验过了,我们先来看看它具体有哪些开发亮点,方便后面做细分。
里面至少包含表单建模、流程设计、报表可视化、代码生成器、系统管理、前端UI等组件。
像上面这些功能,可以直接引用,我们就没必要重新造轮子,仅选择合适的组件进行集成和二次开发,即可自主开发一个低代码平台。
01、连接数据源
支持连接多数据源,帮助应用快速与第三方系统完成数据整合,将第三方系统数据整合在平台里。支持包括主流数据库SQL Server、MySQL、Oracle、PostgreSQL,同时兼容国产数据库达梦、人大金仓等。
02、设计表单
内置较为丰富便捷的表单引擎,拖拽搭建即可,官网显示支持有50余种控件,倒是可以满足多种业务场景下的搭建需求。
PC端设计好表单后,支持移动端同步设计,一键发布至APP、小程序、H5等移动平台上,较为高效的就完成了多端自动适配,实现信息互联互通。
03、流程设计
强大流程定义功能(节点审批、子流程、条件分支、选择分支、并分支、定时器等),业务逻辑简单好理解、业务流程梳理快捷明了,同时支持一表单多流程的设置。
封装大量具有中国特色的流程动作,满足审批需求,包括权限设置、会签、或签、重审、转审、催办、撤回、加签等审批动作。
04、图表呈现
通过简易配置即可自动生成各种类型的报表,内置大量可视化控件效果,通过OLAP多维分析功能,帮助洞察解决数据背后的问题。
同时支持静态数据、数据库和API等多种数据源接入数据,可满足多元化的数据整合需求。
05、组织架构设置
JNPF支持多租户模式,可根据管理模式差异进行业务分区应用;支持同步管理多个资工作区环境,实现各子工作区的日常使用互不干扰。
当然,不用担心的是,不同的分子公司它也支持分别对接企微和钉钉架构。
二、效率评价
极易实现。整个过程流畅,基本无卡顿,易于理解和调试。
多端开发。PC端设置好表单后移动端同步生成,很便捷。
有简单的功能配置,也有可用于配置复杂的场景。后者,可能对于业务人员独立开发上要下点功夫,但并不影响它的全能性。
三、小结
对于整个应用开发流程体验完成后。个人认为它的综合使用感及市场性价比算是不错的。10分钟完成一个基础应用,2-3小时就能摸清整套系统的使用流程和基本功能的位置,产品的功能集成和操作复杂平衡也较为合理。
Q3: postgresql sql 每隔5分钟去执行一条sql语句怎么写?用存储过程吗?
这个要使用postgresql定时任务,类似oracle中的job,SQL Server中的代理(agent)。
需要安装pgagent插件,然后建立job就定时执行了。具体要参考pgagent插件的使用。
Q4: 亚马逊ec2免费套餐每月流量限制是多少
网页链接
每个月,AWS 免费使用套餐包括以下内容:
750 小时的 Amazon EC2 Linux 或 RHEL 或 SLES t2.micro 实例使用时间(配置为 1 GiB 的内存、32 位和 64 位平台支持),足够整月持续运行*
750 小时的 Amazon EC2 Microsoft Windows Server t2.micro 实例使用时间(配置为 1 GiB 内存、32 位和 64 位平台支持),足够小时以便每月持续运行*
750 小时的 Elastic Load Balancer 加上 15 GB 数据处理*
750 小时的 Amazon RDS 单可用区微型数据库实例使用时间,可用于运行 MySQL、MariaDB、PostgreSQL、Oracle BYOL 或 SQL Server Express Edition,足够整月持续运行数据库实例。您还可以获得 20GB 的数据库存储和 20GB 的备份存储。*
750 小时的 Amazon ElastiCache 微型缓存节点使用时间 – 足够用户每月连续不间断地运行。*
30 GB 的 Amazon Elastic Block Storage(以任意方式对通用型 (SSD) 或磁性介质型进行组合),附加 200 万次 I/O(采用 EBS 磁性介质)和 1 GB 快照存储***
5 GB 的 Amazon S3 标准存储,20000 个获取请求以及 2000 放入请求。*
25 GB 的存储容量、25 个读取容量单位和 25 个写入容量单位,足以使用 Amazon DynamoDB 处理每月高达 200M 的请求。**
25 个 Amazon SimpleDB 机器小时和 1 GB 存储**
可免费启动 1 000 个Amazon SWF 工作流执行。还可以免费使用总共 10 000 活动任务、信号、定时器和标记,以及 30 000 个工作流日。**
100 000 个 Amazon Simple Queue Service 请求**
可与Amazon Simple Notification Service 配合使用的 100 000 个请求、100 000 HTTP 通知和 1 000 份电子邮件通知**
10 个 Amazon CloudWatch 指标、10 个警报和 1000000 个 API 请求**
50 GB 的数据传出以及 2 000 000 个针对 Amazon CloudFront 的 HTTP 和 HTTPS 请求*
适用于所有 AWS 服务的共计 15GB 的带宽传出量
Q5: 对openResty的理解
OpenResty 是中国人章亦春发起的一个开源项目,它的核心是基于 NGINX 的一个 C 模块,该模块将 Lua 语言嵌入到 NGINX 服务器中,并对外提供一套完整 Lua Web 应用开发 API,透明地支持非阻塞 I/O,提供了“轻量级线程”、定时器等等高级抽象,同时围绕这个模块构建了一套完备的测试框架、调试技术以及由 Lua 实现的周边功能库;这个项目的意义在于极大的降低了高性能服务端的开发难度和开发周期,在快节奏的互联网时代这一点极为重要。
OpenResty (也称为 ngx_openresty)是一个全功能的 Web 应用服务器,它打包了标准的 Nginx
核心,很多的常用的第三方模块,以及它们的大多数依赖项。
OpenResty 通过汇聚各种设计精良的 Nginx 模块,
从而将 Nginx 有效的变成一个强大的 Web 应用服务器,
这样, Web 开发人员可以使用 Lua 脚本语言调动 Nginx 支持的各种C以及Lua 模块,
快速构造出足以胜任 10K+ 并发连接响应的超高性能Web 应用系统.
OpenResty 的目标是让你的Web服务直接跑在 Nginx 服务内部,
充分利用 Nginx 的非阻塞 I/O 模型,
不仅仅对 HTTP 客户端请求,甚至于对远程后端诸如
MySQL,PostgreSQL,Memcaches 以及 Redis 等都进行一致的高性能响应.
总结一点来说就是:openResty原生支持lua语言,相比较调用第三方语言如php,python等来处理业务相比,openResty调用原生的lua的处理业务逻辑的速度当然更快。。。
全功能web应用服务器Openresty介绍
锤子手机发布会提到的 OpenResty 是什么?
关于postgresql定时器和的介绍到此就结束了,不知道你从中找到你需要的信息了吗 ?如果你还想了解更多这方面的信息,记得收藏关注本站。







