代码托管位置 github-pytools
需求
读取xml数据文件，文件较大，需要实时处理插入到数据库
xml文档
| 12345678910111213141516 | <PERSONS><person> <id>100000</id> <sex>男</sex> <address>北京，海淀区</address> <fansNum>437</fansNum> <summary>1989</summary> <wbNum>333</wbNum> <gzNum>242</gzNum> <blog>null</blog> <edu>大学</edu> <work></work> <renZh>1</renZh> <brithday>2月14日</brithday></person></PERSONS> |
处理
sax处理时并不会像dom一样可以以类似节点的维度进行读取,它只有 开始标签 内容 结束标签 之分
处理思想是：通过一个handler，对开始标签，内容，结束标签各有一个处理函数
代码及注解
person 处理类
| 123456789101112131415161718192021222324252627282930313233 | from xml.sax import handler,parseStringclass PersonHandler(handler.ContentHandler): def __init__(self, db_ops): #db op obj self.db_ops = db_ops #存储一个person的map self.person = {} #当前的tag self.current_tag = \”\” #是否是tag之间的内容 ，目的拿到tag间内容，不受空白的干扰 self.in_quote = 0 #开始，清空map def startElement(self, name, attr): #以person，清空map if name == \”person\”: self.person = {} #记录 状态 self.current_tag = name self.in_quote = 1 #结束，插入数据库 def endElement(self, name): #以person结尾 代表读取一个person的信息结束 if name == \”person\”: #do something in_fields = tuple([ (\’\”\’ + self.person.get(i,\”\”) + \’\”\’) for i in fields ]) print in_sql % in_fields db_ops.insert( in_sql%(in_fields)) #处理 self.in_quote = 0 def characters(self, content): #若是在tag之间的内容，更新到map中 if self.in_quote: self.person.update({self.current_tag: content}) |
加上入库的完整代码
1234567891011և件，文件较大，需要实时处理插入到数据库
xml文档
处理sax处理时并不会像dom一样可以以类似节点的维度进行读取,它只有 开始标签 内容 结束标签 之分 处理思想是：通过一个handler，对开始标签，内容，结束标签各有一个处理函数 代码及注解person 处理类
加上入库的完整代码
|