Python元类与迭代器生成器案例详解

1.__getattr__和__getattribute__魔法函数

__getattr__是当类调用一个不存在的属性时才会调用getattr魔法函数，他传入的值item就是你这个调用的不存在的值。
__getattribute__则是无条件的优先执行，所以如果不是特殊情况最好不要用__getattribute__。

class User(object):
    def __init__(self, name, info):
        self.name = name
        self.info = info

    def __getattr__(self, item):
        return self.info[item]

ls = User("李四",{"gender":"male"})
print(ls.gender)    

2.属性描述符

属性描述符介绍
属性描述符是一个强大的通用协议。它是properties, methods, static methods, class methods 和super()的调用原理。

属性描述符协议
属性描述符是实现了特定协议的类，只要实现了__get__，__set__和__delete__三个方法中的任意一个，这个类就是描述符，它能实现对多个属性运用相同存取逻辑的一种方式，通俗来说就是：创建一个实例，作为另一个类的类属性。

注意

• 如果一个对象同时定义了__get__和__set__方法，它被称做数据描述符(data descriptor)。

• 只定义__get__方法的对象则被称为非数据描述符(non-data descriptor)。

使用类方法创建描述符

• 定义一个IntField类为描述符类

• 创建IntField类的实例，作为另一个User类的属性

class IntField(object):
    def __set__(self, instance, value):
        print("__set__")

    def __get__(self, instance, owner):
        print("__get__")

    def __delete__(self, instance):
        print("__delete__")


class User(object):
    age = IntField()


ls = User()
ls.age         
ls.age = 30     
del ls.age   

使用属性类型创建描述符

除了使用类当作一个属性描述符，我们之前学习的 property()，就是可以轻松地为任意属性创建可用的描述符。创建 property() 的语法是 property(fget=None, fset=None, fdel=None, doc=None)

描述符查找顺序

• 当为数据描述符时， __get__优先级高于__dict__
• 当为非数据描述符时,__dict__优先级高于__get__

元类

元类介绍

元类实际上就是创建类的类

实现如下：

• 定义创建类的函数create_class
• 如果给create_class传的参数为user，则创建User类

type()创建元类

• 第一个参数：name表示类名称，字符串类型
• 第二个参数：bases表示继承对象（父类），元组类型，单元素使用逗号
• 第三个参数：attr表示属性，这里可以填写类属性、类方式、静态方法，采用字典格式，key为属性名，value为属性值

def __init__(self, name):
    self.name = name
    print("i am __init__")
    
    
User = type("User", (), {"age":18 , "__init__":__init__})
obj = User("amy")       
print(obj.name)      

metaclass属性

如果一个类中定义了__metalass__ = xxx,Python就会用元类的方式来创建类,就可以控制类的创建行为
比如，以下代码,再不改变类属性的抒写情况下，将属性名规定为大写访问。

class MyClass(object):
    name = "ls"
mc = MyClass()
print(mc.name)

Python迭代器

迭代器指的是迭代取值的工具,迭代是指一个重复的过程,每一次重复都是基于上一次结果而来
迭代提供了一种通用的不依赖索引的迭代取值方式

可迭代对象

可以用for循环遍历的对象都是可迭代对象。
• str,list,tuple,dict,set等都是可迭代对象。
• generator，包括生成器和带yield的生成器函数。

判断是否可迭代

除了看内置是否含有__iter__方法来判断该对象是否是一个可迭代的对象之外，我们还可以使用 isinstance() 判断一个对象是否是 Iterable 对象
• isinstance()?C>用来判断对象是否是相应类型，与type()类似。

from collections import Iterable,Iterator
print(isinstance('abc',Iterable))   # True
print(isinstance([1,2,3,4],Iterable))   # True
print(isinstance(123,Iterable))     # False

迭代器对象

• 有内置的__next__()方法的对象，执行该方法可以不依赖索引取值
• 有内置的__iter__()方法的对象，执行迭代器的__iter__()方法得到的依然是迭代器本身
需要注意的是，可迭代对象不一定是迭代器

iter()

可以被next()函数调用并不断返回下一个值的对象称为迭代器：Iterator。
那我们可以通过iter()方法将可迭代的对象，转为迭代器。

li = [1,2,3,4]
lis = iter(li)
print(type(lis))    # <class 'list_iterator'>

注意：
• 迭代器不可以通过下标取值，而是使用__next__()或者next()。但是只要超出范围则直接报错StopIteration。

print(lis[0])    # 报错 not subscriptable
print(lis.__next__())
print(lis.__next__())
print(lis.__next__())
print(lis.__next__())
print(next(lis))
print(next(lis))
print(next(lis))
print(next(lis))

• next()只能顺延调用，不能往前。

可迭代对象与迭代器区别
• 可用于for循环的都是可迭代类型
• 作用于next()都是迭代器类型
• list、dict、str等都是可迭代的但不是迭代器,因为next()函数无法调用它们。可以通过iter()函数将它们转为迭代器
• python的for循环本质就是通过不断调用next()函数实现的

生成器

生成器定义
在Python中，一边循环一边计算的机制，称为生成器：generator。
为什么要有生成器
列表所有数据都在内存中，如果有海量数据的话会非常消耗内存。
比如说：我们仅仅需要访问前面几个元素，但后面绝大多元素占用的内存就会浪费了。
那么生成器就是在循环的过程中根据算法不断推算出后续的元素，这样就不用创建整个完整的列表，从而节省大量的空间。
总而言之，就是当我们想要使用庞大数据，又想让它占用的空间少，那就使用生成器。

如何创建生成器

生成器表达式
生成器表达式来源于迭代和列表解析的组合，生成器和列表解析类似，但是它使用()而不是[]。

g = (x for x in range(5))
print(g)       # generator object
print(next(g))
print(next(g))
print(next(g))
print(next(g))
print(next(g))
# 超出报错
print(next(g))
for i in g:
    print(i)

生成器函数
当一个函数中包含yield关键字，那么这个函数就不再是一个普通的函数，而是一个generator。调用函数就是创建了一个生成器对象。其工作原理就是通过重复调用next()或者__next__()方法，直到捕获一个异常。
比如：
实现斐波那契数列，除第一个和第二个数外，任何一个数都可以由前两个相加得到：
1，1，2，3，5，8，12，21，34…

def createNums():
    print("-----func start-----")
    a,b = 0,1
    for i in range(5):
        # print(b)
        print("--1--")
        yield b
        print("--2--")
        a,b = b,a+b
        print("--3--")
    print("-----func end-----")
    
g = createNums()
print(next(g))  
print(next(g))  
print(next(g))
print(next(g))
print(next(g))

注意：

• yield返回一个值，并且记住这个返回值的位置，下次遇到next()调用时，代码从yield的下一条语句开始执行。与return的差别是，return也是返回一个值，但是直接结束函数。

迭代器与生成器

• 生成器能做到迭代器能做的所有事

• 而且因为生成器自动创建了iter()和next()方法，生成器显得简洁，而且高效。

读取大文件

文件300G,文件比较特殊,一行 分隔符 {|}

def readlines(f,newline):
    buf = ""
    while True:
        while newline in buf:
            pos = buf.index(newline)
            yield buf[:pos]
            buf = buf[pos + len(newline):]
        chunk = f.read(4096*10)
        if not chunk:
            yield buf
            break
        buf += chunk
with open('demo.txt') as f:
    for line in readlines(f,"{|}"):
        print(line)