Android Greendao插入10万条数据OOM

~ 下面写个小程序测试一下。
private Runnable runnable = new Runnable() { @Override
public void run() {
List<Book> bookList = new ArrayList<>(); for (int i = 0; i < 5000; i++) {
Book book = new Book();
book.setUuid(UUID.randomUUID().toString());
book.setName("name"); //其他set方法略
bookList.add(book);
} try {
Thread.sleep(1000);
} catch (InterruptedException e) {
e.printStackTrace();
}

mBookDao.insertOrReplaceInTx(bookList);
Log.d(TAG, "插入book数据：" + bookList.size());
}
};private void insert() {
Log.d(TAG, "线程池开始");
mBookDao.deleteAll(); long time = System.currentTimeMillis();
ExecutorService executorService = Executors.newFixedThreadPool(3); for (int i = 0; i < 200; i++) {
executorService.submit(runnable);
}
executorService.shutdown(); for (; ; ) { if (executorService.isTerminated()) { break;
} try {
executorService.awaitTermination(1, TimeUnit.SECONDS);
} catch (InterruptedException e) {
e.printStackTrace();
}
}
Log.d(TAG, "线程池完成：" + (System.currentTimeMillis() - time) + "ms");
}

runnable任务模拟1秒从网络拉取5000条数据并插入DB，insert方法使用线程池执行runnable任务。
执行时间超过1000秒，查看内存占用超过180M。如果数据量更多，肯定会发生OOM，基本上可以定位是greenDAO的问题。现在需要在两个方面优化，一是寻找内存占用的原因，二是提高数据的插入速度。
查看内存堆
内存的占用随着insert的数据量越多而递增，从中间dump出java堆，得到hprof文件。注意这个文件不是标准格式，只能用AndroidStudio打开。

图1
右击文件导出标准的hprof文件，用更加强大的MAT分析。

图2

图3
看到IdentityScope占了一半内存，可以确定是greenDAO缓存了插入数据。
mBookDao.insertOrReplaceInTx(bookList);mBookDao.detachAll();

greenDAO的缓存功能是有用的，没必要关闭，改成在插入数据后，调用一次detachAll，将identityScope清空。
public void detachAll() { if (identityScope != null) {
identityScope.clear();
}
}

重建索引
对表插入大量数据，如果中间没有涉及到业务，可以先失效索引，待插入完成后重建索引。
String sql = "drop index index_isbn";
mDb.execSQL(sql);
sql = "drop index index_publisherid";
mDb.execSQL(sql);
sql = "drop index index_author";
mDb.execSQL(sql);

插入数据前，drop掉表中的索引。没有见到greenDAO有操作索引的方法，直接执行sql命令。
sql = "create index index_isbn on book(isbn)";
mDb.execSQL(sql);
sql = "create index index_publisherid on book(publisherid)";
mDb.execSQL(sql);
sql = "create index index_author on book(author)";
mDb.execSQL(sql);

插入数据完成后，重建索引。最后执行100w数据插入大约耗时450秒，比什么都不做快了两三倍。
异步操作
上一个步骤的耗时包含了模拟网络和数据库操作的时间，使用多线程将两个环节分离，可以减少总时间。
greenDAO提供了AsyncSession这个异步操作类，使用daoSession.startAsyncSession()获取实例，内部实现使用了线程池和阻塞队列，原理很简单不用多讲。
mAsyncSession.runInTx(new Runnable() { @Override
public void run() {
mBookDao.insertOrReplaceInTx(bookList);
mBookDao.deleteAll();
}
});

获取数据后，提交给AsyncSession异步插入数据库。要注意在合适地方使用waitForCompletion，等待AsyncSession完成已有任务。如果获取数据速度很快，而操作数据库很慢，会导致过多数据缓存在AsyncSession的内部阻塞队列。
最后测试一下100w数据插入数据库，耗时不到150秒，又快了几倍。

作者：展翅而飞
链接：https://www.jianshu.com/p/6589c6d3f551
来源：简书
著作权归作者所有。商业转载请联系作者获得授权，非商业转载请注明出处。

---

班戈县17127616466： 如何在android应用中使用greendao orm框架 - ？
歧骂多烯： (1).DaoCore:库目录,即jar文件greendao-1.3.0-beta-1.jar的代码;(2).DaoExample:android范例工程;(3).DaoExampleGenerator:DaoExample工程的DAO类构造器,java工程;(4).DaoGenerator:DAO类构造器,java工程;(5).DaoTest、PerformanceTestOrmLite:其他测试相关的工程.

班戈县17127616466： android studio怎么用greendao - ？
歧骂多烯： 1、在AndroidStudio新建Android项目.2、在该项目新建一个与java文件夹平级的java-gen文件夹3、在该Android项目的build.gradle文件添加以下语句: dependencies { compile fileTree(dir: 'libs', include: ['*.jar']) compile 'com.android.support:...

班戈县17127616466： greendao生成的数据库怎么用 - ？
歧骂多烯： 使用 Guid 作为我一个服务器应用程序中的主键,并且想要能够远程从 android 设备和上载回服务器生成新的数据.Android 设备上的数据库是在 sqlite 中,并使用 greenDAO 来生成 Pojo 和数据访问层

班戈县17127616466： greendao用的是什么数据库 - ？
歧骂多烯： GreenDao是一个用于Android开发的对象/关系映射(ORM)工具.它向SQLite数据库提供了一个对象导向的接口.greenDAO有如下特点:系能最大化、便于使用、对于Android高度优化、最小化内存开销、较小的文件体积,只集中在必要的部分上

班戈县17127616466： android greendao框架中,设置主外键关联后,插父类时可以自动将子类插入吗? - ？
歧骂多烯： ok 能实现

班戈县17127616466： 如何使用greendao进行插入更新删除数据 - ？
歧骂多烯： public class DaoHelper { public static <T> T readData(String key, final Class<T> type) { QueryBuilder<Cache> qb = getCacheDao().queryBuilder(); qb.where(CacheDao.Properties.Key.eq(key)); String data = ＂＂; if (qb.list().size() > 0) { data = qb.list...

班戈县17127616466： android 用greendao怎么生成实体类的操作 - ？
歧骂多烯： android常用的本地数据库存储方法SQLite,这是一个比较基础的方法.但是对于繁琐的数据层操作,这样写让人感觉很累,对于复杂的查询也不好写.greenDAO就是一个效率比较搞的orm映射框架.可以简化我们对数据库操作. http://jingyan.baidu.com/article/7e440953c8271a2fc0e2ef38.html

班戈县17127616466： android greendao注解怎么映射数组类型 - ？
歧骂多烯： 使用greendao唯一麻烦的就是需要需要一个java项目来辅助生成android greendao dao代码,当初android刚入门,刚接触greendao这个开源项目,网上的中文文档不多,对生成代码基本一笔带过,英语不好的关系,看官方文档也一头雾水.为了更方便生成greendao dao,我用注解和反射封装了greendao generate.使用者无需关心怎么生成,只需要定义表结构就行.项目暂且叫做GreendaoGenerateByAnnotation.

班戈县17127616466： android操作本地数据库的开源框架哪个好 - ？
歧骂多烯： 目前android经常用的orm框架主要有greenDAO、OrmLite、AndrORM. 综合了网上的各种评价,greenDAO的运行效率最高,内存消耗最少,性能最佳 .

班戈县17127616466： android ormlite greendao 哪个好 - ？
歧骂多烯： 推荐你用GreenDao,因为greenDAO的运行效率最高,内存消耗最少,性能最佳 之前自己看过 几篇文章.给你参考.