python数据统计，分组的一些小技巧
最近在用python做数据统计，这里总结了一些最近使用时查找和总结的一些小技巧，希望能帮助在做这方面时的一些童鞋。有些技巧是很平常的用法，平时我们没有注意，但是在特定场景，这些小方法还是能带来很大的帮助。
1.在字典中将键映射到多个值上面
| 12 | {\’b\’: [4, 5, 6], \’a\’: [1, 2, 3]} |
有时候我们在统计相同key值的时候，希望把所有相同key的条目添加到以key为键的一个字典中，然后再进行各种操作，这时候我们就可以使用下面的代码进行操作：
| 12345678910111213 | from collections import defaultdictd = defaultdict(list)print(d)d[\’a\’].append(1)d[\’a\’].append(2)d[\’a\’].append(3)d[\’b\’].append(4)d[\’b\’].append(5)d[\’b\’].append(6)print(d)print(d.get(\”a\”))print(d.keys())print([d.get(i) for i in d]) |
这里是使用了collections中的方法，这里面还拥有很多有用的方法，我们有时间在继续进行深入了解。
上面代码运行结果：
| 12345 | defaultdict(, {})defaultdict(, {\’b\’: [4, 5, 6], \’a\’: [1, 2, 3]})[1, 2, 3]dict_keys([\’b\’, \’a\’])[[4, 5, 6], [1, 2, 3]] |
我们将数据填入之后，相当于进行快速分组，然后遍历每个组就可以统计一些我们需要的数据。
2.迅速转换字典键值对
| 12 | data = {...}zip(data.values(), data.keys()) |
data是我们的格式数据，使用zip后进行快速键值转换，然后可以使用max，min之类函数进行数据操作。
3.通过公共键对字典进行排序
| 12345678 | from operator import itemgetterdata = [ {\’name\’: \”bran\”, \”uid\”: 101}, {\’name\’: \”xisi\”, \”uid\”: 102}, {\’name\’: \”land\”, \”uid\”: 103}]print(sorted(data, key=itemgetter(\”name\”)))print(sorted(data, key=itemgetter(\”uid\”))) |
数据格式就是data，我们想要对name或者uid进行排序我们就是用代码中的方法。
运行结果：
| 12 | [{\’name\’: \’bran\’, \’uid\’: 101}, {\’name\’: \’land\’, \’uid\’: 103}, {\’name\’: \’xisi\’, \’uid\’: 102}][{\’name\’: \’bran\’, \’uid\’: 101}, {\’name\’: \’xisi\’, \’uid\’: 102}, {\’name\’: \’land\’, \’uid\’: 103}] |
正如我们期望中的一样
4.对列表中的多个字典根据某一字段进行分组
注意注意，在进行分组前要首先对数据进行排序处理，排序字段根据实际要求来选择
即将处理的数据：
| 12345 | rows = [ {\’name\’: \”bran\”, \”uid\”: 101, \”class\”: 13}, {\’name\’: \”xisi\”, \”uid\”: 101, \”class\”: 11}, {\’name\’: \”land\”, \”uid\”: 103, \”class\”: 10}] |
期望处理结果：
| 1234 | {101: [{\’name\’: \’xisi\’, \’class\’: 11, \’uid\’: 101},{\’name\’: \’bran\’, \’class\’: 13, \’uid\’: 101}],103: [{\’name\’: \’land\’, \’class\’: 10, \’uid\’: 103}]} |
我们按照uid进行分组，这里只是演示，uid一般也不会重复。
这个比较复杂一点，我们一部一步来分解
| 12 | some = [(\’a\’, [1, 2, 3]), (\’b\’, [4, 5, 6])]print(dict(some)) |
结果：
| 1 | {\’b\’: [4, 5, 6], \’a\’: [1, 2, 3]} |
这里我们的目的是将元组转换成字典，这个很简单，应该都能看懂。接着我们来下一步对待处理数据进行排序：
| 1234 | data_one = sorted(rows, key=itemgetter(\”class\”))print(data_one)data_two = sorted(rows, key=lambda x: (x[\”uid\”], x[\”class\”]))print(data_two) |
这里我们提供两种排序方式原理相同，只是样式稍有区别，第一种data_one是直接使用itemgetter，按照我们前面使用过得，直接按照某一字段进行排序，可是有时候我们会有另一种要求：
先按照某一字段排序，当第一字段重复时，再按照另一字段排序。
这时我们就用第二种方法，进行多字段值排序。
排序结果如下：
| 12 | [{\’name\’: \’land\’, \’class\’: 10, \’uid\’: 103}, {\’name\’: \’xisi\’, \’class\’: 11, \’uid\’: 101}, {\’name\’: \’bran\’, \’class\’: 13, \’uid\’: 101}][{\’name\’: \’xisi\’, \’class\’: 11, \’uid\’: 101}, {\’name\’: \’bran\’, \’class\’: 13, \’uid\’: 101}, {\’name\’: \’land\’, \’class\’: 10, \’uid\’: 103}] |
结果大家慢慢看一下，还是略有差别。
接下来就进行最后一步了，将我们刚才讲的两种方式结合起来使用：
| 12 |