kafka 磁盘写满导致 InternalError

[-- ::,] FATAL (main kafka.server.KafkaServerStartable ) Fatal error during KafkaServerStartable startup. Prepare to shutdown

java.lang.InternalError: a fault occurred in a recent unsafe memory access operation in compiled Java code

        at kafka.log.FileMessageSet$$anon$.makeNext(FileMessageSet.scala:)

        at kafka.log.FileMessageSet$$anon$.makeNext(FileMessageSet.scala:)

        at kafka.utils.IteratorTemplate.maybeComputeNext(IteratorTemplate.scala:)

        at kafka.utils.IteratorTemplate.hasNext(IteratorTemplate.scala:)

        at kafka.log.LogSegment.recover(LogSegment.scala:)

        at kafka.log.Log$$anonfun$loadSegments$.apply(Log.scala:)

        at kafka.log.Log$$anonfun$loadSegments$.apply(Log.scala:)

        at scala.collection.TraversableLike$WithFilter$$anonfun$foreach$.apply(TraversableLike.scala:)

        at scala.collection.IndexedSeqOptimized$class.foreach(IndexedSeqOptimized.scala:)

        at scala.collection.mutable.ArrayOps$ofRef.foreach(ArrayOps.scala:)

        at scala.collection.TraversableLike$WithFilter.foreach(TraversableLike.scala:)

        at kafka.log.Log.loadSegments(Log.scala:)

        at kafka.log.Log.<init>(Log.scala:)

        at kafka.log.LogManager$$anonfun$loadLogs$$$anonfun$$$anonfun$apply$$$anonfun$apply$.apply$mcV$sp(LogManager.scala:)

        at kafka.utils.CoreUtils$$anon$.run(CoreUtils.scala:)

        at java.util.concurrent.Executors$RunnableAdapter.call(Executors.java:)

        at java.util.concurrent.FutureTask.run(FutureTask.java:)

        at java.util.concurrent.ThreadPoolExecutor.runWorker(ThreadPoolExecutor.java:)

        at java.util.concurrent.ThreadPoolExecutor$Worker.run(ThreadPoolExecutor.java:)

        at java.lang.Thread.run(Thread.java:)

[kafka@datanode15 kafka]$ du -sh /data11/kafka/

.4T    /data11/kafka/

[kafka@ngsoc15 kafka]$ df -h

Filesystem      Size  Used Avail Use% Mounted on

devtmpfs        126G       126G   % /dev

/dev/sda2       880G   14G  823G   % /

/dev/sda1       190M  126M   51M  % /boot

/dev/sdj        .6T  .8T  618G  % /data09

/dev/sdf        .6T  .0T  .5T  % /data05

/dev/sdd        .6T  .5T  954G  % /data03

/dev/sdi        .6T  .7T  .8T  % /data08

/dev/sdk        .6T  .4T  .1T  % /data10

/dev/sde        .6T  .5T  986G  % /data04

/dev/sdb        .6T  .1T  .4T  % /data01

/dev/sdg        .6T  .4T  .1T  % /data06

/dev/sdh        .6T  .5T  948G  % /data07

/dev/sdl        .6T  .4T      % /data11

/dev/sdm        .6T  .0T  473G  % /data12

/dev/sdc        .6T  .3T  .2T  % /data02

sh bin/kafka-topics.sh --zookeeper zookeeper.host: --alter --topic flow_dns --partition 

此错误表示或内存访问导致SIGBUS错误，然后被 JVM 捕获并转换为异步 。sun.misc.Unsafe.getX()putX()InternalError

更多细节：

sun.misc.Unsafe是 JDK 私有 API，允许直接从 Java 访问本机内存。此 API 是直接字节缓冲区的基础，特别是映射字节缓冲区的基础。

在某些情况下，对文件的内存映射区域的访问可能会导致 OS 级异常，即 。典型的示例包括：SIGBUS

在基础文件被截断后，将访问内存映射缓冲区。

网络驱动器上的文件已映射到内存，并且在网络连接断开后访问映射的缓冲区。

尝试写入映射到文件系统上的文件的页面会导致内存不足（默认情况下，空间受总 RAM 的 % 限制）。tmpfstmpfs

热点 JVM 无法提前有效地检测这些问题。它编译对简单内存访问指令的调用。查看内存区域是否有效的其他检查将过于昂贵。Unsafe.getX / putX

相反，JVM 处理信号。如果它看到调用中发生了错误，它将发布到当前线程并继续执行。SIGBUGUnsafeInternalError

IOException更合适，但 JVM 不能引发它或任何其他异常，因为公共协定不允许其方法引发任何异常。ByteBufferget/put

如果 JIT 编译方法中的内存访问失败，JVM 不会立即引发异常（同样，对于此类热字节缓冲区 API 来说，这太贵了）。相反，它将异步发布到当前线程。这意味着错误实际上将扔到最近的本机方法或最接近 VM 运行时的调用处。因此，错误消息中的"最近"一词。UnsafeInternalError