• 制造业如何在坚守中求变 2019-04-23
  • 晋中市“三同步”推动互联网治理创新 2019-04-23
  • 提前享受肯定会逐步成为美谈呢。 2019-04-13
  • 强势发力体育营销 世界杯中国企业改变“旁观”窘状 2019-04-13
  • 山西日报系列评论:三晋之声 2019-04-12
  • 全军启动826门军事职业教育重点课程建设任务 2019-04-12
  • 楼阳生同志政务活动报道集——黄河新闻网 2019-04-05
  • 汉腾全新纯电车-酷似捷豹E-PACE 续航超400km 2019-04-05
  • “舌尖”之后, “风味”能否再续辉煌? 2019-04-04
  • 四川雅江:消防战士扑灭山火后  录视频给父母拜年 2019-03-31
  • 说【“腐败分子是天上掉下来的吗?”——这是四两千斤向第十阶层发问】纯属造谣。{千金}先生这是对【风水神】本人的发问,我的唯一个回帖是给{千金}:这个跟帖回得好。 2019-03-31
  • 紫光阁中共中央国家机关工作委员会 2019-03-30
  • 西安明德门遗址保护工程启动 将1∶1异地重现五门道城门明德门保护-要闻 2019-03-30
  • C罗逆天戴帽引名嘴狂吹!詹俊:永恒记忆 黄健翔:核武器 2019-03-28
  • 2019款马自达MX-5 Miata 驾驶能力提升 2019-03-23
  • 全国免费热线:
    浅析Hibernate下数据批量处理方法
    作者:中国IT实验室 点击:12981次 日期:2012-09-15
    字号::T | T
    欢迎进入Java社区论坛,与200万技术人员互动交流 >>进入
        很多人都对Java在批量数据的处理方面是否是其合适的场所持有怀疑的念头,由此延伸,那么就会认为ORM可能也不是非凡适合数据的批量处理。其实,我想假如我们应用得当的话,完全可以消除ORM批量处理性能问题这方面的顾虑。下面以Hibernate为例来做为说明,假如我们真的不得不在 Java中使用Hibernate来对数据进行批量处理的话。 向数据库插入100 000条数据,用Hibernate可能像这样:
       
        Session session = sessionFactory.openSession();
       
        Transaction tx = session.beginTransaction();
       
        for ( int i=0; i<100000; i++ ) {
       
        Customer customer = new Customer(……);
       
        session.save(customer); }
       
        tx.commit();
       
        session.close();
       
        大概在运行到第50 000条的时候,就会出现内存溢出而失败。这是Hibernate把最近插入的Customer都以session-level cache在内存做缓存,我们不要忘记Hiberante并没有限制first-level cache 的缓存大小。
       
        ◆持久对象实例被治理在事务结束时,此时Hibernate与数据库同步任何已经发生变 化的被治理的的对象。
       
        ◆Session实现了异步write-behind,它答应Hibernate显式地写操作的批处理。 这里,我给出Hibernate如何实现批量插入的方法:
       
        首先,我们设置一个合理的JDBC批处理大小,hibernate.jdbc.batch_size 20. 然后在一定间隔对Session进行flush()和clear()。
       
        Session session = sessionFactory.openSession();
       
        Transaction tx = session.beginTransaction();
       
        for ( int i=0; i<100000; i++ ) {
       
        Customer customer = new Customer(……);
       
        session.save(customer);
       
        if ( i % 20 == 0 ) {
       
        //flush 插入数据和释放内存:
       
        session.flush(); session.clear(); }
       
        }
       
        tx.commit();
       
        session.close();
       
        那么,关于怎样删除和更新数据呢?那好,在Hibernate2.1.6或者更后版本,scroll() 这个方法将是最好的途径:
       
        Session session = sessionFactory.openSession();
       
        Transaction tx = session.beginTransaction();
       
        ScrollableResults customers = session.getNamedQuery(“GetCustomers”)
       
        .scroll(ScrollMode.FORWARD_ONLY);
       
        int count=0;
       
        while ( customers.next() ) {
       
        Customer customer = (Customer) customers.get(0);
       
        customer.updateStuff(…);
       
        if ( ++count % 20 == 0 ) {
       
        //flush 更新数据和释放内存:
       
        session.flush(); session.clear(); } }
       
        tx.commit(); session.close();
       
        这种做法并不困难,也不算不优雅。请注重,假如Customer启用了second-level caching ,我们仍然会有一些内存治理的问题。原因就是对于用户的每一次插入和更新,Hibernate在事务处理结束后不得不通告second-level cache .因此,我们在批处理情况下将要禁用用户使用缓存。

    发表评论

    昵称 * 验证码 * 验证码
    上一篇: Java技术开始没落
    下一篇: Eclipse设置软tab及默认utf-8文件编码

    资质证书

    CMMI Ⅲ APPRAISAL ID:30062
    ISO9001:08915Q20090ROS
    ISO27001:04817I20037R0S
    高新技术企业:GR201753000141
    网站问题免费诊断

    电子商务三位一体发展战略

    技术研发

    业务培训

    实战运营

    战略布局

  • 制造业如何在坚守中求变 2019-04-23
  • 晋中市“三同步”推动互联网治理创新 2019-04-23
  • 提前享受肯定会逐步成为美谈呢。 2019-04-13
  • 强势发力体育营销 世界杯中国企业改变“旁观”窘状 2019-04-13
  • 山西日报系列评论:三晋之声 2019-04-12
  • 全军启动826门军事职业教育重点课程建设任务 2019-04-12
  • 楼阳生同志政务活动报道集——黄河新闻网 2019-04-05
  • 汉腾全新纯电车-酷似捷豹E-PACE 续航超400km 2019-04-05
  • “舌尖”之后, “风味”能否再续辉煌? 2019-04-04
  • 四川雅江:消防战士扑灭山火后  录视频给父母拜年 2019-03-31
  • 说【“腐败分子是天上掉下来的吗?”——这是四两千斤向第十阶层发问】纯属造谣。{千金}先生这是对【风水神】本人的发问,我的唯一个回帖是给{千金}:这个跟帖回得好。 2019-03-31
  • 紫光阁中共中央国家机关工作委员会 2019-03-30
  • 西安明德门遗址保护工程启动 将1∶1异地重现五门道城门明德门保护-要闻 2019-03-30
  • C罗逆天戴帽引名嘴狂吹!詹俊:永恒记忆 黄健翔:核武器 2019-03-28
  • 2019款马自达MX-5 Miata 驾驶能力提升 2019-03-23