作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。
摘要:序 关于自动化测试的工具和框架其实有很多。自动化测试在测试IT行业中扮演着越来越重要的角色,不管是在传统的IT行业还是高速发展的互联网行业或是如今的大数据和大热的人工智能领域,都离不开测试,也更加离不开自动化测试。自动化测试已经发展了很多年,在很多大的互联网公司里他们不但有自己的自动化测试框架,甚至 阅读全文
posted @ 2019-04-28 22:59 张永清 阅读 (569) 评论 (1) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) (成长之路序列 阅读全文
posted @ 2019-09-16 23:26 张永清 阅读 (211) 评论 (2) 编辑
摘要:笔者接着 RobotFramework自动化测试框架-DatabaseLibrary库的使用(对数据库的操作) 继续分享robotframework 对数据库中的MongoDB的详细操作。这是笔者第二篇关于robotframework 对数据库的操作的分享介绍。 MongoDB是非常常用的一个非关系 阅读全文
posted @ 2019-09-16 09:02 张永清 阅读 (113) 评论 (0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) 我们接着 人工 阅读全文
posted @ 2019-08-16 15:53 张永清 阅读 (200) 评论 (0) 编辑
摘要:一、简介 1、概述 Impala是Cloudera公司推出,提供对HDFS、Hbase数据的高性能、低延迟的交互式SQL查询功能。 •基于Hive使用内存计算,兼顾数据仓库、具有实时、批处理、多并发等优点 impala使用hive的元数据, 完全在内存中计算 •是CDH平台首选的PB级大数据实时查询 阅读全文
posted @ 2019-08-16 11:37 张永清 阅读 (78) 评论 (0) 编辑
摘要:引 如果对什么是线程、什么是进程仍存有疑惑,请先Google之,因为这两个概念不在本文的范围之内。 用多线程只有一个目的,那就是更好的利用cpu的资源,因为所有的多线程代码都可以用单线程来实现。说这个话其实只有一半对,因为反应“多角色”的程序代码,最起码每个角色要给他一个线程吧,否则连实际场景都无法 阅读全文
posted @ 2019-08-16 10:42 张永清 阅读 (38) 评论 (0) 编辑
摘要:1、 早期关系型数据库之间的数据同步 1)、全量同步 比如从oracle数据库中同步一张表的数据到Mysql中,通常的做法就是 分页查询源端的表,然后通过 jdbc的batch 方式插入到目标表,这个地方需要注意的是,分页查询时,一定要按照主键id来排序分页,避免重复插入。 2)、基于数据文件导出和 阅读全文
posted @ 2019-08-15 17:12 张永清 阅读 (538) 评论 (0) 编辑
摘要:人工智能-智能创意平台架构成长之路(一)--长篇开篇 人工智能-智能创意平台架构成长之路(二)--大数据架构篇 人工智能-智能创意平台架构成长之路(三)--机器学习算法工程服务化 人工智能-智能创意平台架构成长之路(四)-丰富多彩的banner图生成解密第一部分(对标阿里鹿班的设计) 人工智能-智能 阅读全文
posted @ 2019-08-09 17:02 张永清 阅读 (413) 评论 (1) 编辑
摘要:(这是第一篇开篇,成长之路序列会包含多篇,笔者作为这个平台的架构兼技术经理,充分讲述其中的迭代心酸之路以及中间遇到的问题和解决方案) 声明:文章不涉及公司内部技术资料的外泄,涉及的图片都是重画的简易架构图,主要通过架构的演进,讲述分享技术的迭代之路和过程,进行技术交流和探讨。 人工智能-智能创意平台 阅读全文
posted @ 2019-08-09 11:28 张永清 阅读 (858) 评论 (1) 编辑
摘要:运行结果如下 D:\python\Python3\python.exe D:/project/python/zj_scrapy/zj_scrapy/SyncCrawlSjqq.py ['宜人贷借款', '大智慧', '中国建设银行', '同花顺手机炒股股票软件', '随手记理财记账', '平安金管家 阅读全文
posted @ 2019-07-16 17:36 张永清 阅读 (371) 评论 (0) 编辑
摘要:关于爬虫平台的架构设计实现和框架的选型(一) 关于爬虫平台的架构设计实现和框架的选型(二)--scrapy的内部实现以及实时爬虫的实现 首先来看一下一个爬虫平台的设计,作为一个爬虫平台,需要支撑多种不同的爬虫方式,所以一般爬虫平台需要包括 1、 爬虫规则的维护,平台在接收到爬虫请求时,需要能按照匹配 阅读全文
posted @ 2019-07-16 10:45 张永清 阅读 (546) 评论 (0) 编辑
摘要:Region的概念 Region是HBase数据管理的基本单位。数据的move,数据的balance,数据的split,都是按照region来进行操作的。 region中存储这用户的真实数据,而为了管理这些数据,HBase使用了RegionSever来管理region。 一个表中可以包含一个或多个R 阅读全文
posted @ 2019-07-10 09:23 张永清 阅读 (47) 评论 (0) 编辑
摘要:Kafka是最初由Linkedin公司开发,是一个分布式、支持分区的(partition)、多副本的(replica),基于zookeeper协调的分布式消息系统,它的最大的特性就是可以实时的处理大量数据以满足各种需求场景:比如基于hadoop的批处理系统、低延迟的实时系统、storm/Spark流 阅读全文
posted @ 2019-07-02 19:29 张永清 阅读 (85) 评论 (0) 编辑
摘要:序 关于自动化测试的工具和框架其实有很多。自动化测试在测试IT行业中扮演着越来越重要的角色,不管是在传统的IT行业还是高速发展的互联网行业或是如今的大数据和大热的人工智能领域,都离不开测试,也更加离不开自动化测试。自动化测试已经发展了很多年,在很多大的互联网公司里他们不但有自己的自动化测试框架,甚至 阅读全文
posted @ 2019-04-28 22:59 张永清 阅读 (569) 评论 (1) 编辑
摘要:1.1. 性能测试的基础概念 性能可以理解为一个系统实现其功能的能力,从宏观上可以描述为系统能够稳定运行,高并发访问时系统不会出现宕机,系统处理完成用户请求需要的时间,系统能够同时支撑的并发访问量,系统每秒可以处理完成的事物数等,从微观上可以描述为处理每个事务的资源开销,资源的开销可以包括CPU,磁 阅读全文
posted @ 2019-04-07 15:59 张永清 阅读 (464) 评论 (0) 编辑
摘要:ByteBuffer有两种: heap ByteBuffer -> -XX:Xmx 1.一种是heap ByteBuffer,该类对象分配在JVM的堆内存里面,直接由Java虚拟机负责垃圾回收, direct ByteBuffer -> -XX:MaxDirectMemorySize 2.一种是di 阅读全文
posted @ 2019-02-14 20:24 张永清 阅读 (447) 评论 (0) 编辑
摘要:报错日志: 2018-12-17 10:01:19,688 ERROR [io.undertow.request] (default task-3) UT005023: Exception handling request to /xxx/app/bannerMaterialManager/uplo 阅读全文
posted @ 2019-01-02 09:13 张永清 阅读 (478) 评论 (0) 编辑
摘要:转载自http://yangyangmyself.iteye.com/blog/2321759 1、Druid 查询概述 上一节完成数据导入后,接下来讲讲Druid如何查询及统计分析导入的数据。 Druid的查询是使用REST风格的HTTP请求查询服务节点(Broker、Historical、Rea 阅读全文
posted @ 2018-11-07 15:53 张永清 阅读 (111) 评论 (0) 编辑
摘要:一、SynchronousQueue简介 Java 6的并发编程包中的SynchronousQueue是一个没有数据缓冲的BlockingQueue,生产者线程对其的插入操作put必须等待消费者的移除操作take,反过来也一样。 不像ArrayBlockingQueue或LinkedListBloc 阅读全文
posted @ 2018-10-03 23:08 张永清 阅读 (184) 评论 (0) 编辑
摘要:性能测试中除了需要做好性能测试外,我们还需要做性能测试后的,性能调优,需要发现性能问题,也需要做性能调优,在做性能调优中,jvm的性能调优是经常遇到的一个。 随着jdk版本的迅速变化,jdk里面的GC算法也是发生了很多变化,新版的jdk中,G1的已经成了jdk的默认算法了,性能测试中,我们经常关注的 阅读全文
posted @ 2018-10-02 23:29 张永清 阅读 (350) 评论 (0) 编辑
摘要:This sample file is meant as a guide only. Do not copy/paste the entire content into your application; rather pick only the properties that you need. 阅读全文
posted @ 2018-09-07 21:03 张永清 阅读 (107) 评论 (0) 编辑
作者的原创文章,转载须注明出处。原创文章归作者所有,欢迎转载,但是保留版权。对于转载了博主的原创文章,不标注出处的,作者将依法追究版权,请尊重作者的成果。