正文

Amazon Kinesis Producer Library 使用记录

IP云
IP云V管理员/5 阅读
06/28
提示：扫一扫查出行
【扫一扫了解最新限行尾号】
复制提示

Amazon Kinesis 是一种托管的服务，用于有弹性与扩展性的实时处理大规模的流数据。该服务收集大数据记录流，多个可在 Amazon EC2 实例上运行的数据处理应用程序随后可实时使用此流。


在我目前的使用中，Kinesis更多的时候是作为一个数据管道使用，生产者不断地的产生数据，向Kinesis推送，消费者不断的从Kinesis取出数据进行处理，分发，计算等。

本来使用的是Kinesis的原始API做处理，但是需要自己做一些网络传输异常、各种异常的捕捉，需要写不少逻辑。和AWS的专家沟通后，建议使用KPL（Kinesis Producer Library ）进行开发，这个库帮助做一些Kinesis的负载分发、本地缓存、异常捕获等。

使用记录
1、先从Github上下载一份Kinesis的Sample，用来调试学习
2、导入maven项目，maven仓库选择阿里的就行

  1. <mirror>
  2. <id>alimaven</id>
  3. <name>aliyun maven</name>
  4. <url>http://maven.aliyun.com/nexus/content/groups/public/</url>
  5. <mirrorOf>central</mirrorOf>
  6. </mirror>


结束使用，因为AWS的工程师和我说，kpl不能再windows使用，而我没得linux开发环境。。。
来自为知笔记(Wiz)