浅谈Java堆外内存之突破JVM枷锁

对于有Java开发经验的朋友都知道,Java中不需要手动的申请和释放内存,JVM会自动进行垃圾回收;而使用的内存是由JVM控制的。

那么,什么时机会进行垃圾回收,如何避免过度频繁的垃圾回收?如果JVM给的内存不够用,怎么办?

此时,堆外内存登场!利用堆外内存,不仅可以随意操控内存,还能提高网络交互的速度。

背景1:JVM内存的分配

对于JVM的内存规则,应该是老生常谈的东西了,这里我就简单的说下:

新生代:一般来说新创建的对象都分配在这里。

年老代:经过几次垃圾回收,新生代的对象就会放在年老代里面。年老代中的对象保存的时间更久。

永久代:这里面存放的是class相关的信息,一般是不会进行垃圾回收的。

背景2:JVM垃圾回收

由于JVM会替我们执行垃圾回收,因此开发者根本不需要关心对象的释放。但是如果不了解其中的原委,很容易内存泄漏,只能两眼望天了!

垃圾回收,大致可以分为下面几种:

MinorGC:当新创建对象,内存空间不够的时候,就会执行这个垃圾回收。由于执行最频繁,因此一般采用复制回收机制。

MajorGC:清理年老代的内存,这里一般采用的是标记清除+标记整理机制。

FullGC:有的说与MajorGC差不多,有的说相当于执行minor+major回收,那么我们暂且可以认为FullGC就是全面的垃圾回收吧。

堆外内存?

堆外内存,其实就是不受JVM控制的内存。相比于堆内内存有几个优势:

1减少了垃圾回收的工作,因为垃圾回收会暂停其他的工作(可能使用多线程或者时间片的方式,根本感觉不到)

2加快了复制的速度。因为堆内在flush到远程时,会先复制到直接内存(非堆内存),然后在发送;而堆外内存相当于省略掉了这个工作。

而福之祸所依,自然也有不好的一面:

1堆外内存难以控制,如果内存泄漏,那么很难排查

2堆外内存相对来说,不适合存储很复杂的对象。一般简单的对象或者扁平化的比较适合。

堆外内存可以通过java.nio的ByteBuffer来创建,调用allocateDirect方法申请即可。参考API地址

至于怎么用,读读API文档就知道啦~

另外,默认的情况下堆外内存是有一定的限制的,好像是64M吧....

可以通过设置-XX:MaxDirectMemorySize=10M控制堆外内存的大小:

堆外内存的垃圾回收

  堆外内存,既然可以无限使用,那么会不会用爆内存呢?这个是很有可能的...所以堆外内存的垃圾回收也很重要。

  由于堆外内存并不直接控制于JVM,因此只能等到full GC的时候才能垃圾回收!

  Full GC,一般发生在年老代垃圾回收以及调用System.gc的时候,这样肯定不能满足我们的需求!于是度娘帮助解决了这个问题,网上有朋友十分聪明的利用内部实现接口,反向获取到了一个clear方法!

package xing.test;
import java.nio.ByteBuffer;
import sun.nio.ch.DirectBuffer;
public class NonHeapTest {
  public static void clean(final ByteBuffer byteBuffer) {
    if (byteBuffer.isDirect()) {
      ((DirectBuffer)byteBuffer).cleaner().clean();
    }
 }
  public static void sleep(long i) {
    try {
       Thread.sleep(i);
     }catch(Exception e) {
       /*skip*/
     }
  }
  public static void main(String []args) throws Exception {
      ByteBuffer buffer = ByteBuffer.allocateDirect(1024 * 1024 * 200);
      System.out.println("start");
      sleep(5000);
      clean(buffer);//执行垃圾回收
//     System.gc();//执行Full gc进行垃圾回收
      System.out.println("end");
      sleep(5000);
  }
}

这样就能手动的控制回收堆外内存了!其中sun.nio其实是java.nio的内部实现。所以你可能不能通过eclipse的自动排错找到这个包,直接复制

import sun.nio.ch.DirectBuffer;

就行。

由于本文整理与网络各种资料,有些不对的地方还请指正,共同探讨!

总结

以上就是本文关于浅谈Java堆外内存之突破JVM枷锁的全部内容,希望对大家有所帮助。感兴趣的朋友可以继续参阅本站:

快速理解Java垃圾回收和jvm中的stw

Java虚拟机装载和初始化一个class类代码解析

Java编程中避免equals方法的隐藏陷阱介绍

有什么问题可以随时留言,小编会及时回复大家的。感谢朋友们对本站的支持!

时间: 2017-11-10

详谈jvm--Java中init和clinit的区别

init和clinit区别 ①init和clinit方法执行时机不同 init是对象构造器方法,也就是说在程序执行 new 一个对象调用该对象类的 constructor 方法时才会执行init方法,而clinit是类构造器方法,也就是在jvm进行类加载-–验证--解析-–初始化,中的初始化阶段jvm会调用clinit方法. ②init和clinit方法执行目的不同 init is the (or one of the) constructor(s) for the instance, and

JVM 方法调用之静态分派(详解)

分派(Dispatch)可能是静态也可能是动态的,根据分派依据的宗量数可分为单分派和多分派.这两种分派方式的两两组合就构成了静态单分派,静态多分派,动态单分派,动态多分派这4种组合.本章讲静态分派. 1.静态分派 所有依赖静态类型来定位方法执行版本的分派动作称为静态分派.静态分派的典型应用是方法重载.静态分派发生在编译阶段,因此确定静态分派的动作实际上不是由虚拟机来执行的. 那么什么是静态类型(static type)呢? Super object = new Sub(); 像上面的语句,Sup

Java虚拟机JVM优化实战的过程全记录

前言 Java虚拟机是运行所有Java程序的抽象计算机,是Java语言的运行环境,它是Java 最具吸引力的特性之一.Java虚拟机是通过在实际的计算机上仿真模拟各种计算机功能模拟来实现的,通过Java虚拟机,您只要根据JVM规格描述将解释器移植到特定的计算机上,就能保证经过编译的任何Java代码能够在该系统上运行. 最近在看JVM群里有人发了一个GC情况,让人帮忙看优化的,于是我也凑热闹发了出来想让群里的大神们指导优化一下,以下是优化过程记录. 一开始我贴了下面的两张图 jstat看GC记录

JVM 心得分享(加载 链接 初始化)

基本概念:类加载的过程大致分为三个阶段 1.加载阶段:本阶段主要把class的二进制代码加载进入JVM,并且进行常量池(类名,方法名,字段名),方法区(二进制字节码),栈(本地方法栈结构),堆(java.lang.class对象)的设置. 有三个加载类:Bootstrap ClassLoader,加载jre/lib/下的类: Extension ClassLoader:加载jre/lib/ext下的类: ApplicationClassLoader:加载classpath下的类(应用程序自己开发

JVM 方法调用之动态分派(详解)

1. 动态分派 一个体现是重写(override).下面的代码,运行结果很明显. public class App { public static void main(String[] args) { Super object = new Sub(); object.f(); } } class Super { public void f() { System.out.println("super : f()"); } public void f(int i) { System.out

Java 虚拟机(JVM)之基本概念详解

1.类加载子系统:负责从文件系统或者网络中加载Class信息,加载的信息存放在一块称之为方法区的内存空间. 2.方法区:就是存放类信息.常量信息.常量池信息.包括字符串字面量和数字常量等.方法区是辅助堆栈的块永久区,解决堆栈信息的产生,是先决条件. 3.Java堆:再java虚拟机启动的时候建立Java堆,它是java程序最主要的内存工作区域,几乎所有的对象实例都存放到Java堆中,堆空间是所有线程共享的.堆解决的是数据存储问题,即数据怎么放.放在哪儿. 4.直接内存:Java的NIO库允许Ja

JVM之参数分配(全面讲解)

一.堆参数设置 -XX:+PrintGC 使用这个参数,虚拟机启动后,只要遇到GC就会打印日志 -XX:+UseSerialGC 配置串行回收器 -XX:+PrintGCDetails 可以查看详细信息,包括各个区的情况 -Xms:设置Java程序启动时初始化堆大小 -Xmx:设置Java程序能获得最大的堆大小 -Xmx20m -Xms5m -XX:+PrintCommandLineFlags:可以将隐式或者显示传给虚拟机的参数输出 在实际工作中,我们可以直接将初始的堆大小与最大堆大小设置相等,

jvm支持最大线程数简单测试

最近想测试下Openfire下的最大并发数,需要开大量线程来模拟客户端.对于一个JVM实例到底能开多少个线程一直心存疑惑,所以打算实际测试下,简单google了把,找到影响线程数量的因素有下面几个: -Xms intial java heap size -Xmx maximum java heap size -Xss the stack size for each thread 系统限制 系统最大可开线程数 测试程序如下: Java代码 : import java.util.concurrent

python编程测试电脑开启最大线程数实例代码

本文实例代码主要实现python编程测试电脑开启最大线程数,具体实现代码如下. #!/usr/bin/env python #coding=gbk import threading import time, random, sys class Counter: def __init__(self): self.lock = threading.Lock() self.value = 0 def increment(self): self.lock.acquire() self.value = v

springboot tomcat最大线程数与最大连接数解析

springboot tomcat最大线程数与最大连接数 首先看看springboot内置的tomcat,该如何配置这两个参数 # 在配置文件中添加如下内容 # tomcat最大线程数,默认为200 server.tomcat.max-threads=200 # tomcat最大连接数,默认为10000(网上的说法) server.tomcat.max-connections=300 如何理解上面两个参数 为了方便理解,我这里使用了springboot编写了一个简单了的服务,包含一个模拟登录的接

java线程池:获取运行线程数并控制线程启动速度的方法

在java里, 我们可以使用Executors.newFixedThreadPool 来创建线程池, 然后就可以不停的创建新任务,并用线程池来执行了. 在提交任务时,如果线程池已经被占满,任务会进到一个队列里等待执行. 这种机制在一些特定情况下会有些问题.今天我就遇到一种情况:创建线程比线程执行的速度要快的多,而且单个线程占用的内存又多,所以很快内存就爆了. 想了一个办法,就是在提交任务之前,先检查目前正在执行的线程数目,只有没把线程池占满的时候在去提交任务. 代码很简单: int thread

深入探讨linux下进程的最大线程数、进程最大数、进程打开的文件数

=====最大线程数====linux 系统中单个进程的最大线程数有其最大的限制 PTHREAD_THREADS_MAX这个限制可以在 /usr/include/bits/local_lim.h 中查看对 linuxthreads 这个值一般是 1024,对于 nptl 则没有硬性的限制,仅仅受限于系统的资源这个系统的资源主要就是线程的 stack 所占用的内存,用 ulimit -s 可以查看默认的线程栈大小,一般情况下,这个值是 8M可以写一段简单的代码验证最多可以创建多少个线程 复制代码

python多线程semaphore实现线程数控制的示例

前面写过一篇关于python多线程的实现的文章, 但是效果不是最佳的,写法也不是很好.通过网上学习,也了解到了semaphore这个东西. 百度给的解释:Semaphore是一种在多线程环境下使用的设施,该设施负责协调各个线程,以保证它们能够正确.合理的使用公共资源的设施,也是操作系统中用于控制进程同步互斥的量. 一个有趣的例子:假设停车场只有三个车位,一开始三个车位都是空的.这时如果同时来了五辆车,看门人允许其中三辆不受阻碍的进入,然后放下车拦,剩下的车则必须在入口等待,此后来的车也都不得不在

AJAX简单测试代码实例

本文实例讲述了AJAX简单测试代码.分享给大家供大家参考.具体如下: 客户端:代码如下:(AJAX_test.html ) <!DOCTYPE html PUBLIC "-//W3C//DTD XHTML 1.0 Transitional//EN" "http://www.w3.org/TR/xhtml1/DTD/xhtml1-transitional.dtd"> <html xmlns="http://www.w3.org/1999/x

PHP机器学习库php-ml的简单测试和使用方法

php-ml是一个使用PHP编写的机器学习库.虽然我们知道,python或者是C++提供了更多机器学习的库,但实际上,他们大多都略显复杂,配置起来让很多新手感到绝望. php-ml这个机器学习库虽然没有特别高大上的算法,但其具有最基本的机器学习.分类等算法,我们的小公司做一些简单的数据分析.预测等等都是够用的.我们的项目中,追求的应该是性价比,而不是过分的效率和精度.一些算法和库看上去非常厉害,但如果我们考虑快速上线,而我们的技术人员没有机器学习方面的经验,那么复杂的代码和配置反而会拖累我们的项

python 统计代码行数简单实例

 python 统计代码行数简单实例 送测的时候,发现需要统计代码行数 于是写了个小程序统计自己的代码的行数. #calclate_code_lines.py import os def afileline(f_path): res = 0 f = open(f_path) for lines in f: if lines.split(): res += 1 return res if __name__=='__main__': host = 'E:'+os.sep+'develop'+os.s

简单测试Apache是如何完成负载均衡策略配置

随着访问量的不断提升,以及对响应速度要求的苛刻,进行负载均衡设置就显得尤为重要了.公司的系统在最初设计的时候就已经考虑到了负载均衡的规划,www静态服务器配置了两台,由于初期项目时间紧,并且访问量并不高,所以当时只用了一台,另一台在内网中,只是进行了同步,并为发挥出效用来.此次就是对负载均衡的一个简单测试. 先介绍一下apache mod_proxy_balancer的几个配置规则: 将Apache作为LoadBalance前置机分别有三种不同的部署方式,分别是: 1 )轮询均衡策略的配置 进入