前段时间需要跑一批数据到mongo中，采用jmeter读取数据文件向服务端发送请求的方式，将数据库跑入数据库。
数据量：200w
mongo与服务端均部署在同一台机器上。
现象
服务器上执行jmeter脚本，但是数据惨不忍睹
测试截图
看了服务器的cpu 和内存的使用率，发现cpu（24核）只有67%，内存只有20%（512G）。并发量只有200，明显对于服务端的压力不大，排除硬件。
后来将并发量降低至50，数据依然惨不忍睹。
猜测
怀疑是数据库的索引没有加，但是服务端是会自动建立索引的，进入mongo查看索引，发现索引建立了。
决定开始mongo 慢查询，看看是否是数据入库时过慢造成的， 因为测试前数据库是空的，随着数据的进入，伴随着insert及query操作。
慢查询分析流程
通过慢查询日志，定位每条语句的执行时间，比如超过了200ms的，那么就需要针对这个进行优化。
优化步骤：
-
用慢查询日志（system.profile）找到超过200ms的语句
-
然后再通过.explain()解析影响行数，分析为什么超过200ms
-
决定是不是需要添加索引
开启慢查询
Profiling级别说明
● 0：关闭，不收集任何数据。
● 1：采集慢查询数据，默认是100毫秒。
● 2：采集所有数据
开启profiling
需要注意的是，以上操作如果是在collection下操作，只对该collection有效。如果需要对整个db有效，需要在db下执行。每次执行后返回的结果是修改前的状态。
慢查询分析
此处发现millis 数据很大，一个insert操作需要1.6s。需要进行优化。
总结
上面的只是一个例子，实际中，我当时是在query遇到问题，一个query执行了2800ms。后来发现是有两个字段没有建索引导致的。但是依然没有解决insert性能低下的问题。
后续有待继续研究。
