java写es代码 java操作es的api

java导数据到esid重复

，代码主要逻辑如下：

// 读取要导入数据的文件

BufferedReader br = new BufferedReader(new FileReader(

"D:\\test\\test.txt"));

String json = null;

int count = 0;

// 开启批量插入

BulkRequestBuilder bulkRequest = client.prepareBulk();

while ((json = br.readLine()) != null) {

bulkRequest.add(client.prepareIndex("test", "all")

.setSource(json));

// 每一千条提交一次

if (count % 1000 == 0) {

bulkRequest.execute().actionGet();

System.out.println("提交了：" + count);

}

count++;

}

bulkRequest.execute().actionGet();

System.out.println("插入完毕");

br.close();

登录后复制



运行后发现一个问题，我100多万条的数据，导入到es中怎么生成了1000多万条，而且还是在没有完全导入的情况下

然后用小批量数据导入到es,再把这些数据导出来，发现有好多重复的数据

为什么会重复呢，原因是在每一千条提交一次代码这块，第一次一千条提交了，并没有把bulkRequest置空，所以第二次提交的时候，会提交两千条，包括第一次已经提交的一千条，然后我们自己也没有设置_id,所以es会自动给数据生成一个_id,即使是重复的数据，搞清楚了原因，下面来说解决方法，主要有两种：

第一种就是在提交了一千条后，对bulkRequest进行重置，因为bulkRequest并没有重置的方法，所以可以新建一个bulkRequest，类似于重置，具体代码如下：

// 读取要导入数据的文件

BufferedReader br = new BufferedReader(new FileReader(

"D:\\test\\test.txt"));

String json = null;

int count = 0;

// 开启批量插入

BulkRequestBuilder bulkRequest = client.prepareBulk();

while ((json = br.readLine()) != null) {

bulkRequest.add(client.prepareIndex("test", "all")

.setSource(json));

// 每一千条提交一次

if (count % 1000 == 0) {

bulkRequest.execute().actionGet();

//此处新建一个bulkRequest，类似于重置效果

bulkRequest = client.prepareBulk();

System.out.println("提交了：" + count);

}

count++;

}

bulkRequest.execute().actionGet();

System.out.println("插入完毕");

br.close();

登录后复制



第二种就是自己设置_id,确保每一条数据只有一个_id,这样的话，即使数据重复了，因为_id是一样的，所以es会进行更新，这样的话并没有从根源上解决数据重复的问题，只是重复数据会更新，这样的话效率会慢，具体代码如下：

// 读取要导入数据的文件

BufferedReader br = new BufferedReader(new FileReader(

"D:\\test\\test.txt"));

String json = null;

int count = 0;

// 开启批量插入

BulkRequestBuilder bulkRequest = client.prepareBulk();

while ((json = br.readLine()) != null) {

//设置_id为count

bulkRequest.add(client.prepareIndex("test", "all",

String.valueOf(count)).setSource(json));

// 每一千条提交一次

if (count % 1000 == 0) {

bulkRequest.execute().actionGet();

//此处新建一个bulkRequest，类似于重置效果

System.out.println("提交了：" + count);

}

count++;

}

bulkRequest.execute().actionGet();

System.out.println("插入完毕");

br.close();

登录后复制



建议使用第一种方法，效率会快很多。

相关问答

Q1: 用java怎么造es的mappings元数据

用java怎么造es的mappings元数据

Mapping,就是对索引库中索引的字段名及其数据类型进行定义，类似于关系数据库中表建立时要定义字段名及其数据类型那样，不过es的mapping比数据库灵活很多，它可以动态添加字段。一般不需要要指定mapping都可以，因为es会自动根据数据格式定义它的类型，如果你需要对某些字段添加特殊属性

Q2: java操作es获取索引存储大小

150GB。

在ES中，索引是一组文档的集合，由于ES是个分布式的搜索引擎，索引会被分解成不同部分，索引大小为150GB。

Java指编程语言，Java具有大部分编程语言所共有的一些特征，被特意设计用于互联网的分布式环境，使用Java编写的应用程序，既可以在一台单独的电脑上运行，也可以被分布在一个网络的服务器端和客户端运行。

Q3: Java代码查询es 的索引是yellow的状态,怎么可以查询不报错？

建议提前检查，为yellow直接提醒运维去维护为green。不过我这边用的es6.2.3yellow是正常查询的。建议你检查一下环境配置应该不是yellow的问题。试了一下；为red都可以正常查询的（java代码查询结果和下图es-head查询结果一致）

关于java写es代码和java操作es的api的介绍到此就结束了，不知道你从中找到你需要的信息了吗 ？如果你还想了解更多这方面的信息，记得收藏关注本站。