在Django中实现一个高性能未读消息计数器
计数器(Counter)是一个非常常用的功能组件，这篇blog以未读消息数为例，介绍了在 Django中实现一个高性能计数器的基本要点。
故事的开始：.count()
假设你有一个Notification Model类，保存的主要是所有的站内通知：
| 123456789 | class Notification(models.Model): \”\”\”一个简化过的Notification类，拥有三个字段： – `user_id`: 消息所有人的用户ID – `has_readed`: 表示消息是否已读 \”\”\” user_id = models.IntegerField(db_index=True) has_readed = models.BooleanField(default=False) |
理所当然的，刚开始你会通过这样的查询来获取某个用户的未读消息数：
| 12 | # 获取ID为3074的用户的未读消息数Notification.objects.filter(user_id=3074, has_readed=False).count() |
当你的Notification表比较小的时候，这样的方式没有任何的问题，但是慢慢的，随着业务量 的扩大。消息表里面有了 上亿条数据 。很多懒惰的用户的未读消息数都到了上千条。
这时候，你就需要实现一个计数器，让这个计数器来统计每个用户的未读消息数，这样 比起之前的count() ，我们只需要执行一条简单的主键查询（或者更优）就可以拿到实时的未读消息数了。
更优的方案：建立计数器
首先，让我们得建立一个新表来存储每个用户的未读消息数。
| 12345678 | class UserNotificationsCount(models.Model): \”\”\”这个Model保存着每一个用户的未读消息数目\”\”\” user_id = models.IntegerField(primary_key=True) unread_count = models.IntegerField(default=0) def __str__(self): return \' |
我们为每一个注册用户提供了一条对应的 UserNotificationsCount 记录来保存他的未读消息数。 每次获取他的未读消息数的时候，只需要 UserNotificationsCount.objects.get(pk=user_id).unread_count 就可以了。
接下来，问题的重点来了，我们如何知道什么时候应该更新我们的计数器？Django在这方面提供了什么捷径吗？
挑战：实时更新你的计数器
为了让我们的计数器正常的工作，我们必须实时的更新它，这包括：
- 当有新的未读消息过来的时候，为计数器 +1
- 当消息被异常删除时，如果关联的消息为未读，为计数器 -1
- 当阅读完一个新消息的时候，为计数器 -1
让我们一个一个来解决这些情况。
在抛出解决方案之前，我们需要先介绍Django中的一个功能： Signals ，Signals是django提供的一个事件通知机制，它可以让你在监听某些自定义或者 预设的事件，当这些事件发生的时候，调用实现定义好的方法。
比如 django.db.models.signals.pre_save & django.db.models.signals.post_save 表示的是 某个Model调用save方法之前和之后会触发的事件，它和Database提供的触发器在功能上有一点相似。
关于Signals更多的介绍可以参考官方文档，下面让我们来看看Signals能给我们的计数器带来什么好处。
1. 当有新的消息过来的时候，为计数器 +1
这个情况应该是最好处理的，使用Django的Signals，只需要短短几行代码，我们便可以实现这种 情况下的计数器更新：
| 123456789101112 | from django.db.models.signals import post_save, post_delete def incr_notifications_counter(sender, instance, created, **kwargs): # 只有当这个instance是新创建，而且has_readed是默认的false才更新 if not (created and not instance.has_readed): return # 调用 update_unread_count 方法来更新计数器 +1 NotificationController(instance.user_id).update_unread_count(1) # 监听Notification Model的post_save信号post_save.connect(incr_notifications_counter, sender=Notification) |
这样，每当你使用 Notification.create 或者 .save() 之类的方法创建新通知 时，我们的 NotificationController 便会得到通知，为计数器 +1。
但是请注意，因为我们的计数器是基于Django的signals，如果你的代码里面有地方 在使用原始sql，没有通过Django ORM方法来添加新通知的话，我们的计数器是不会得到 通知的，所以，最好规范所有的新通知建立方式，比如使用同一个API。
2. 当消息被异常删除时，如果关联的消息为未读，为计数器 -1
有了第一个的经验，这种情况处理起来也比较简单，只需要监控Notification的post_delete 信号就可以了，下面是一段实例代码：
| 123456 | def decr_notifications_counter(sender, instance, **kwargs): # 当删除的消息还没有被读过时，计数器 -1 if not instance.has_readed: NotificationController(instance.user_id).update_unread_count(–1) post_delete.connect(decr_notifications_counter, sender=Notification) |
至此，Notification的删除事件也能正常的更新我们的计数器了。
3. 当阅读一个新消息的时候，为计数器 -1
接下来，当用户阅读某条未读消息的时候，我们也需要更新我们的未读消息计数器。 你可能会说，这有什么难的？我只要在我的阅读消息的方法里面，手动更新我的计数器不就好了？
比如这样：
|
123settings=\”show\”> 123G设你有一个Notification Model类，保存的主要是所有的站内通知：
理所当然的，刚开始你会通过这样的查询来获取某个用户的未读消息数：
当你的Notification表比较小的时候，这样的方式没有任何的问题，但是慢慢的，随着业务量 的扩大。消息表里面有了 上亿条数据 。很多懒惰的用户的未读消息数都到了上千条。 这时候，你就需要实现一个计数器，让这个计数器来统计每个用户的未读消息数，这样 比起之前的count() ，我们只需要执行一条简单的主键查询（或者更优）就可以拿到实时的未读消息数了。 更优的方案：建立计数器首先，让我们得建立一个新表来存储每个用户的未读消息数。
我们为每一个注册用户提供了一条对应的 UserNotificationsCount 记录来保存他的未读消息数。 每次获取他的未读消息数的时候，只需要 UserNotificationsCount.objects.get(pk=user_id).unread_count 就可以了。 接下来，问题的重点来了，我们如何知道什么时候应该更新我们的计数器？Django在这方面提供了什么捷径吗？ 挑战：实时更新你的计数器为了让我们的计数器正常的工作，我们必须实时的更新它，这包括：
让我们一个一个来解决这些情况。 在抛出解决方案之前，我们需要先介绍Django中的一个功能： Signals ，Signals是django提供的一个事件通知机制，它可以让你在监听某些自定义或者 预设的事件，当这些事件发生的时候，调用实现定义好的方法。 比如 django.db.models.signals.pre_save & django.db.models.signals.post_save 表示的是 某个Model调用save方法之前和之后会触发的事件，它和Database提供的触发器在功能上有一点相似。 关于Signals更多的介绍可以参考官方文档，下面让我们来看看Signals能给我们的计数器带来什么好处。 1. 当有新的消息过来的时候，为计数器 +1这个情况应该是最好处理的，使用Django的Signals，只需要短短几行代码，我们便可以实现这种 情况下的计数器更新：
这样，每当你使用 Notification.create 或者 .save() 之类的方法创建新通知 时，我们的 NotificationController 便会得到通知，为计数器 +1。 但是请注意，因为我们的计数器是基于Django的signals，如果你的代码里面有地方 在使用原始sql，没有通过Django ORM方法来添加新通知的话，我们的计数器是不会得到 通知的，所以，最好规范所有的新通知建立方式，比如使用同一个API。 2. 当消息被异常删除时，如果关联的消息为未读，为计数器 -1有了第一个的经验，这种情况处理起来也比较简单，只需要监控Notification的post_delete 信号就可以了，下面是一段实例代码：
至此，Notification的删除事件也能正常的更新我们的计数器了。 3. 当阅读一个新消息的时候，为计数器 -1接下来，当用户阅读某条未读消息的时候，我们也需要更新我们的未读消息计数器。 你可能会说，这有什么难的？我只要在我的阅读消息的方法里面，手动更新我的计数器不就好了？ 比如这样：
|