SQLAlchemy
SQLAlchemy是python 编程语言下的一款ORM框架，该框架建立在数据库API之上，使用关系对象映射进行数据库操作，简单讲：将对象转换成SQL，然后使用数据库API执行SQL并获取执行结果。
Dialect用于和数据API进行交流，根据配置文件的不同调用不同的数据库API，从而实现对数据库的操作
MySQL-Python mysql+mysqldb://: @ [: ]/ pymysql mysql+pymysql:// : @ / [? ] MySQL-Connector mysql+mysqlconnector:// : @ [: ]/ cx_Oracle oracle+cx_oracle://user:pass@host:port/dbname[?key=value&key=value...] 更多详见：//docs.sqlalchemy.org/en/latest/dialects/index.html
阶段一，使用Engine，ConnectionPooling，Dialect进行数据库操作，Engine使用ConnectionPooling连接数据库，然后再通过Dialect执行SQL语句。
from sqlalchemy import create_engine engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5)#一条数据engine.execute( "INSERT INTO ts_test (a, b) VALUES ('2', 'v1')")# 多条数据engine.execute( "INSERT INTO ts_test (a, b) VALUES (%s, %s)", ((555, "v1"),(666, "v1"),))#使用变量engine.execute( "INSERT INTO ts_test (a, b) VALUES (%(id)s, %(name)s)", id=999, name="v1") result = engine.execute('select * from ts_test')result.fetchall()
事务操作：
from sqlalchemy import create_engineengine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5)# 事务操作with engine.begin() as conn: conn.execute("insert into table (x, y, z) values (1, 2, 3)") conn.execute("my_special_procedure(5)") conn = engine.connect()# 事务操作 with conn.begin(): conn.execute("some statement", { 'x':5, 'y':10})
阶段二，使用Schema Type，SQL Expression Language，Engine，ConnectionPooling，Dialect进行数据库操作。
Engine使用Schema Type创建一个特定的结构对象，之后通过SQL Expression Language将该对象转换成SQL语句，然后通过ConnectionPooling连接数据库，再然后通过Dialect执行SQL并获取结果。
from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKey metadata = MetaData() #实例化#创建表user = Table('user', metadata, #表名 Column('id', Integer, primary_key=True), #字段名，类型 Column('name', String(20)),) color = Table('color', metadata, Column('id', Integer, primary_key=True), Column('name', String(20)),)engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/test", max_overflow=5) metadata.create_all(engine) #连接数据库，并执行所有的建表语句# metadata.clear() #执行一条语句# metadata.remove() #删除一条语句
增删改查
from sqlalchemy import create_engine, Table, Column, Integer, String, MetaData, ForeignKeymetadata = MetaData()user = Table('user', metadata, Column('id', Integer, primary_key=True), Column('name', String(20)),)color = Table('color', metadata, Column('id', Integer, primary_key=True), Column('name', String(20)),)engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/s11", max_overflow=5)conn = engine.connect()# 创建SQL语句，INSERT INTO "user" (id, name) VALUES (:id, :name)conn.execute(user.insert(),{ 'id':7,'name':'seven'})conn.close()# 插入数据# sql = user.insert().values(id=123, name='wu')# conn.execute(sql)# conn.close()# 删除数据# sql = user.delete().where(user.c.id > 1)#更新数据# sql = user.update().values(fullname=user.c.name)# sql = user.update().where(user.c.name == 'jack').values(name='ed')#查询数据# sql = select([user, ])# sql = select([user.c.id, ])# sql = select([user.c.name, color.c.name]).where(user.c.id==color.c.id)# sql = select([user.c.name]).order_by(user.c.name)# sql = select([user]).group_by(user.c.name)# 执行语句# result = conn.execute(sql)# print(result.fetchall())# conn.close()
一个完整的实例：
from sqlalchemy import create_enginefrom sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy import Column, Integer, Stringfrom sqlalchemy.orm import sessionmaker Base = declarative_base() #生成一个SqlORM 基类 engine = create_engine("mysql+mysqldb://root@localhost:3306/test",echo=False) # 创建表的类class Host(Base): __tablename__ = 'hosts' #表名 id = Column(Integer,primary_key=True,autoincrement=True) #字段 hostname = Column(String(64),unique=True,nullable=False) ip_addr = Column(String(128),unique=True,nullable=False) port = Column(Integer,default=22) Base.metadata.create_all(engine) #创建所有表结构 if __name__ == '__main__': SessionCls = sessionmaker(bind=engine) #创建与数据库的会话session class ,注意,这里返回给session的是个class,不是实例 session = SessionCls() # 数据语句 #h1 = Host(hostname='localhost',ip_addr='127.0.0.1') #h2 = Host(hostname='ubuntu',ip_addr='192.168.2.243',port=20000) #h3 = Host(hostname='ubuntu2',ip_addr='192.168.2.244',port=20000) # 执行一条语句 #session.add(h3) # 执行多条语句 #session.add_all( [h1,h2]) # 更新数据 #h2.hostname = 'ubuntu_test' #只要没提交,此时修改也没问题 #session.rollback() #回滚 #session.commit() #提交 # 查询 res = session.query(Host).filter(Host.hostname.in_(['ubuntu2','localhost'])).all() print(res) 更多内容详见：
http://www.jianshu.com/p/e6bba189fcbd
http://docs.sqlalchemy.org/en/latest/core/expression_api.html
注：SQLAlchemy无法修改表结构，如果需要可以使用SQLAlchemy开发者开源的另外一个软件Alembic来完成。
阶段三，使用ORM，Schema Type，SQL Expression Language，Engine，ConnectionPooling，Dialect所有组件对数据进行操作。根据类创建对象，对象转换成SQL，执行SQL。
from sqlalchemy.ext.declarative import declarative_basefrom sqlalchemy import Column, Integer, Stringfrom sqlalchemy.orm import sessionmakerfrom sqlalchemy import create_engine engine = create_engine("mysql+mysqldb://root:123@127.0.0.1:3306/s11", max_overflow=5) Base = declarative_base() class User(Base): __tablename__ = 'users' id = Column(Integer, primary_key=True) #primary_key=True 表示不显示执行过程 name = Column(String(50)) # 寻找Base的所有子类，按照子类的结构在数据库中生成对应的数据表信息# Base.metadata.create_all(engine) Session = sessionmaker(bind=engine)session = Session() # ########## 增 ########### u = User(id=2, name='sb')# session.add(u)# session.add_all([# User(id=3, name='sb'),# User(id=4, name='sb')# ])# session.commit() # ########## 删除 ########### session.query(User).filter(User.id > 2).delete()# session.commit() # ########## 修改 ########### session.query(User).filter(User.id > 2).update({'cluster_id' : 0})# session.commit()# ########## 查 ########### 只显示查询到的第一条结果# ret = session.query(User).filter_by(name='sb').first()# 显示所有查询到的结果# ret = session.query(User).filter_by(name='sb').all()# print(ret)#多条件查询 # ret = session.query(User).filter(User.name.in_(['sb','bb'])).all()# print(ret) # ret = session.query(User.name.label('name_label')).all()# print(ret,type(ret))#组 # ret = session.query(User).order_by(User.id).all()# print(ret) # ret = session.query(User).order_by(User.id)[1:3]# print(ret)# session.commit()
外键关联：
from sqlalchemy import Table, Column, Integer, ForeignKeyfrom sqlalchemy.orm import relationshipfrom sqlalchemy.ext.declarative import declarative_base
Base = declarative_base()
第一种办法：
class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) children = relationship("Child") #所关联的表 class Child(Base): __tablename__ = 'child' id = Column(Integer, primary_key=True) parent_id = Column(Integer, ForeignKey('parent.id')) #关联是双向的，所以这里也指定所关联的字段 第二种办法：
class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) #children = relationship("Child", back_populates="parent") class Child(Base): __tablename__ = 'child' id = Column(Integer, primary_key=True) # parent_id = Column(Integer, ForeignKey('parent.id')) parent = relationship("Parent", back_populates="children") #这一条语句代表是双向的关联 class Parent(Base): __tablename__ = 'parent' id = Column(Integer, primary_key=True) children = relationship("Child", backref="parent") #可以通过parent字段查询所管理表的数据
join查询
inner join ：返回表中所有匹配的行
left join：返回左边表的所有行，以及右边匹配的行
right join：返回右边表的所有行，以及左边匹配的行
原生SQL语句：
select host.id,hostname,ip_addr,port,host_group.name from host right join host_group on host.id = host_group.host_id;
SQLAchemy语句：
session.query(Host).join(Host.host_groups).filter(HostGroup.name=='t1').group_by("Host").all()
group by 查询
原生SQL：
select name,count(host.id) as NumberOfHosts from host right join host_group on host.id= host_group.host_id group by name;
SQLAchemy：
from sqlalchemy import funcsession.query(HostGroup, func.count(HostGroup.name )).group_by(HostGroup.name).all() #another examplesession.query(func.count(User.name), User.name).group_by(User.name).all() SELECT count(users.name) AS count_1, users.name AS users_name FROM users GROUP BY users.name