mysql怎么处理数据 mysql 数据

mysql 如何处理亿级数据

1、数据表 collect ( id, title ,info ,vtype) 就这4个字段，其中 title 用定长，info 用text, id 是逐渐，vtype是tinyint，vtype是索引。这是一个基本的新闻系统的简单模型。现在往里面填充数据，填充10万篇新闻。　

2、最后collect 为 10万条记录，数据库表占用硬盘1.6G。OK ,看下面这条sql语句：select id,title from collect limit 1000,10; 很快；基本上0.01秒就OK，再看下面的select id,title from collect limit 90000,10; 从9万条开始分页。

3、8-9秒完成。

4、看下面一条语句:select id from collect order by id limit 90000,10; 很快，0.04秒就OK。因为用了id主键做索引当然快。

相关问答

Q1: mysql关于事物的常识

1. 如何安装MySQL事务数据库

MySQL数据库分二种类型，一种是传统的数据表格式，一种是支持事务处理的数据表格式（InnoDB,BDB，其中以InnoDB为主），下面我介绍一下关于MySQL事务处理数据库的安装及使用方法 你先要去下载一下Mysql max版的安装程序，下载地址： 按常规的方法进行安装 安装完成后，启动mysqlbinWinMySQLadmin 再退出 运行 mysqlbinmydqld-nt --remove mysqlbinmysqld-max-nt --install 以上二行是去掉不支持事务处理的mysql服务，改成支持mysql事务处理的服务 然后在c：下建一个ibdata目录及iblogs目录，当然名字可以不一样，记住这二个名字及盘符，以后要用到，你也可以不建在C盘，然后，打开c:winnt或c:windows目录下的my。

ini，在最后添加：[code] innodb_data_file_path = ibdata1:2000M;ibdata2:2000M innodb_data_home_dir = c:ibdata set-variable = innodb_mirrored_log_groups=1 innodb_log_group_home_dir = c:iblogs set-variable = innodb_log_files_in_group=3 set-variable = innodb_log_file_size=30M set-variable = innodb_log_buffer_size=8M innodb_flush_log_at_trx_mit=1 innodb_log_arch_dir = c:iblogs innodb_log_archive=0 set-variable = innodb_buffer_pool_size=80M set-variable = innodb_additional_mem_pool_size=10M set-variable = innodb_file_io_threads=4 set-variable = innodb_lock_wait_timeout=50 [/code] 其中 innodb_data_file_path = ibdata1:2000M;ibdata2:2000M 这一行中的2000M可以自己改成200m，看你盘的容量大小，mysql推荐10G及以上的硬盘空间最好用这样的设置； 以下这一行 innodb_data_home_dir = c:ibdata 也可以改成你自己起的目录，主要是看你自己在刚才建的目录在哪里啦 按照以上的方法，你已经安装好了mysql的事务数据库，不过你要是按照mysql手册上的方法安装，把上面的一段配制放到my。 f是去的话，可是会出错哦 好了，现在让我们试试看是不是安装完成了，启动apache，或iis，在服务里启动mysql的服务，打开myadmin，输入：SHOW variables like "have_%" 你要是看到下面的结果，那说明你安装成功了。

2. Windows下MySQL策略有哪些

本次活动将重点关注世界上最流行的开源数据库最新版本MySQL 5。

5，其在Windows上运行时能提供高达1500%的性能优势。 此次活动还将详细介绍，利用全新升级的MySQL企业版，Oracle如何超过Microsoft SQL Server，节省高达90%总体拥有成本，该企业版目前包括了建模、开发、监测、管理和基于Windows 的MySQL应用程序备份等的一整套可视化工具。

论坛将详细介绍对Windows用户和独立软件开发商的益处 利用在Windows平台上运行的MySQL企业版，甲骨文使客户能够大幅降低其在开发网络应用、部门级的应用和嵌入式应用软件的总体拥有成本。同时，借助甲骨文公司世界一流的24x7全天候服务支持，客户能实现更高的MySQL性能，跨平台的灵活性和提高管理。

首届MySQL on Windows在线论坛将阐述： 为什么MySQL on Windows既受企业用户也受嵌入式独立软件供应商的热烈欢迎。 MySQL为什么非常适合Windows环境，未来将会有什么样的里程碑以实现MySQL在Microsoft平台上更好运行。

哪些可视化工具可用来有效地开发、部署和管理MySQL on Windows的应用程序。 如何推出基于Windows平台上的MySQL高可用关键业务应用程序。

安全解决方案供应商SonicWall公司为何选择MySQL而没有选择Microsoft SQL Server，以及他们如何成功地提供基于MySQL的解决方案。 甲骨文公司工程设计副总裁Tomas Ulin表示：“通过选择MySQL on Windows，客户能极大地降低成本和提高对跨平台的支持。

甲骨文已经推出了MySQL 5。5 和 MySQL 企业版的主要增强功能，这些功能将为客户带来巨大的益处。

对于正在创建和部署关键网络业务和嵌入式应用软件的独立软件开发商和企业用户来说，MySQL是替代Microsoft SQL Server的一个极具吸引力的选择。” SonicWall产品管理总监Jan Sijp说：“把MySQL嵌入到我们的安全产品中已被证明是明智选择，通过与我们的自身专业相结合，MySQL能够帮助我们为客户提供高度可靠的关键解决方案，客户将能从集成、方便使用的解决方案中受益，而不必安装一个单独的数据库。

除了为客户减少复杂度之外，我们也降低了内部开发、测试和支持的成本。”。

3. MYsql和sql到底是不是一个东西

MYsql和sql不同，为了表达的更科学更准确，我介绍你看比较权威的文章，大家一起学习，声明，下面不是我的作品，请注意尊重版权。

文章来源：数据库联盟网 发布时间：2005-03-25 07:30:55 对于程序开发人员而言，目前使用最流行的两种后台数据库即为MySQL and SQL Server。 这两者最基本的相似之处在于数据存储和属于查询系统。

你可以使用SQL来访问这两种数据库的数据，因为它们都支持ANSI-SQL。还有，这两种数据库系统都支持二进制关键词和关键索引，这就大大地加快了查询速度。

同时，二者也都提供支持XML的各种格式。 除了在显而易见的软件价格上的区别之外，这两个产品还有什么明显的区别吗？在这二者之间你是如何选择的？让我们看看这两个产品的主要的不同之处，包括发行费用，性能以及它们的安全性。

根本的区别是它们遵循的基本原则 二者所遵循的基本原则是它们的主要区别：开放vs保守。 SQL服务器的狭隘的，保守的存储引擎与MySQL服务器的可扩展，开放的存储引擎绝然不同。

虽然你可以使用SQL服务器的Sybase引擎，但MySQL能够提供更多种的选择，如MyISAM, Heap, InnoDB, and Berkeley DB。 MySQL不完全支持陌生的关键词，所以它比SQL服务器要少一些相关的数据库。

同时，MySQL也缺乏一些存储程序的功能，比如MyISAM引擎联支持交换功能。 发行费用：MySQL不全是免费，但很便宜 当提及发行的费用，这两个产品采用两种绝然不同的决策。

对于SQL服务器，获取一个免费的开发费用最常的方式是购买微软的Office或者Visual Studio的费用。但是，如果你想用于商业产品的开发，你必须还要购买SQL Server Standard Edition。

学校或非赢利的企业可以不考虑这一附加的费用。 性能：先进的MySQL 纯粹就性能而言，MySQL是相当出色的，因为它包含一个缺省桌面格式MyISAM。

MyISAM 数据库与磁盘非常地兼容而不占用过多的CPU和内存。MySQL可以运行于Windows系统而不会发生冲突，在UNIX或类似UNIX系统上运行则更好。

你还可以通过使用64位处理器来获取额外的一些性能。因为MySQL在内部里很多时候都使用64位的整数处理。

Yahoo！商业网站就使用MySQL作为后台数据库。 当提及软件的性能，SQL服务器的稳定性要比它的竞争对手强很多。

但是，这些特性也要付出代价的。 比如，必须增加额外复杂操作，磁盘存储，内存损耗等等。

如果你的硬件和软件不能充分支持SQL服务器，我建议你最好选择其他如DBMS数据库，因为这样你会得到更好的结果。 安全功能 MySQL有一个用于改变数据的二进制日志。

因为它是二进制，这一日志能够快速地从主机上复制数据到客户机上。 即使服务器崩溃，这一二进制日志也会保持完整，而且复制的部分也不会受到损坏。

在SQL服务器中，你也可以记录SQL的有关查询，但这需要付出很高的代价。 安全性 这两个产品都有自己完整的安全机制。

只要你遵循这些安全机制，一般程序都不会出现什么问题。 这两者都使用缺省的IP端口，但是有时候很不幸，这些IP也会被一些黑客闯入。

当然，你也可以自己设置这些IP端口。 恢复性：先进的SQL服务器 恢复性也是MySQL的一个特点，这主要表现在MyISAM配置中。

这种方式有它固有的缺欠，如果你不慎损坏数据库，结果可能会导致所有的数据丢失。 然而，对于SQL服务器而言就表现得很稳键。

SQL服务器能够时刻监测数据交换点并能够把数据库损坏的过程保存下来。 根据需要决定你的选择 对于这两种数据库，如果非要让我说出到底哪一种更加出色，也许我会让你失望。

以我的观点，任一对你的工作有帮助的数据库都是很好的数据库，没有哪一个数据库是绝对的出色，也没有哪一个数据库是绝对的差劲。 我想要告诉你的是你应该多从你自己的需要出发，即你要完成什么样的任务？而不要单纯地从软件的功能出发。

如果你想建立一个。服务器体系，这一体系可以从多个不同平台访问数据，参与数据库的管理，那么你可以选用SQL服务器。

如果你想建立一个第三方站点，这一站点可以从一些客户端读取数据，那么MySQL将是最好的选择。 这两者数据库都能够在。

或J2EE下运行正常，同样，都能够利用RAID。 。

4. mysql中事务和存储过程的区别

存储过程是：

通过一系列的SQL语句， 根据传入的参数（也可以没有）， 通过简单的调用，

完成比单个SQL语句更复杂的功能， 存储在数据库服务器端，只需要编译过一次之后再次使用都不需要再进行编译。主要对存储的过程进行控制。

事务是一系列的数据更改操作组成的一个整体。一旦事务中包含的某操作失败或用户中止，用户可以控制将事务体中所有操作撤消，返回事务开始前的状态。

事务中的操作是一个整体，要么整体完成，要么全部不做。从而保证了数据的完整性。

Mysql中，MyISAM存储引擎不支持事务，InnoDB支持。

两者都是数据库中非常重要的知识。

5. 有关数据库最基本最基础知识

一 事务处理介绍 事务是这样一种机制，它确保多个SQL语句被当作单个工作单 元来处理。

事务具有以下的作用： * 一致性：同时进行的查询和更新彼此不会发生冲突，其他 用户不会看到发生了变化但尚未提交的数据。 * 可恢复性：一旦系统故障，数据库会自动地完全恢复未完 成的事务。

二 事务与一致性 事务是完整性的单位，一个事务的执行是把数据库从一个一 致的状态转换成另一个一致的状态。因此，如果事务孤立执行时 是正确的，但如果多个事务并发交错地执行，就可能相互干扰， 造成数据库状态的不一致。

在多用户环境中，数据库必须避免同 时进行的查询和更新发生冲突。这一点是很重要的，如果正在被 处理的数据能够在该处理正在运行时被另一用户的修改所改变， 那么该处理结果是不明确的。

不加控制的并发存取会产生以下几种错误： 1 丢失修改（lost updates） 当多个事务并发修改一个数据时，不加控制会得出错误的结 果，一个修改会覆盖掉另一个修改。 2 读的不可重复性 当多个事务按某种时间顺序存取若干数据时，如果对并发存 取不加控制，也会产生错误。

3 脏读（DIRDY DATA），读的不一致性 4 光标带来的当前值的混乱 事务在执行过程中它在某个表上的当前查找位置是由光标表 示的。光标指向当前正处理的记录。

当处理完该条记录后，则指 向下一条记录。在多个事务并发执行时，某一事务的修改可能产 生负作用，使与这些光标有关的事务出错。

5 未释放修改造成连锁退出 一个事务在进行修改操作的过程中可能会发生故障，这时需 要将已做的修改回退（Rollback）。如果在已进行过或已发现错 误尚未复原之前允许其它事务读已做过修改（脏读），则会导致 连锁退出。

6 一事务在对一表更新时，另外的事务却修改或删除此表的 定义。 数据库会为每个事务自动地设置适当级别的锁定。

对于前面 讲述的问题：脏读、未释放修改造成的连锁退出、一事务在对一 表更新时另外的事务却修改或删除此表的定义，数据库都会自动 解决。而另外的三个问题则需要在编程过程中人为地定义事务或 加锁来解决。

三 事务和恢复 数据库本身肩负着管理事务的责任。事务是最小的逻辑工作 单元，在这个工作单元中，对数据库的所有更新工作，要么必须 全部成功，要么必须全部失败（回退）。

只要应用程序指定了某 段程序为一个事务并做了相应的处理（提交或回退），数据库系 统会自动维护事务本身的特性。 四 ORACLE数据库的事务定义 ORACLE事务从MIT、ROLLBACK、连接到数据库或开始第一 条可执行的SQL语句时开始，到一条MIT、ROLLBACK语句或退出 数据库时结束。

如果在一个事务中包含DDL语句，则在DDL语句的 前后都会隐含地执行MIT语句，从而开始或结束一个事务。 如果一个事务由于某些故障或者由于用户改变主意而必须在 提交前取消它，则数据库被恢复到这些语句和过程执行之前的状 态。

利用ROLLBACK语句可以在MIT命令前随时撤消或回退一个 事务。可以回退整个事务，也可以会退部分事务，但是不能回退 一个已经被提交的事务。

回退部分事务的ROLLBACK命令为： ROLLBACK to savepoint 存储点名 存储点是用户放入事务中的标记，用来表示一个可被回退的 位置。存储点通过在事务中放入一个SAVEPOINT命令而 *** 入。

该 命令的语法是： SAVEPOINT 存储点名 如果在ROLLBACK语句中没有给出存储点名，则整个事务被回 退。 五 SYBASE数据库的事务定义 SYBASE通过使用BEGIN TRANsaction和MIT TRANsaction命令指 示SQL将任意数目的语句作为一个单元来处理。

ROLLBACK TRANsaction 命令则允许用户恢复到事务的开始，或恢复到事务内部已经被用SAVE TRANsaction命令定义的存储点上。 BEGIN TRANsaction和MIT TRANsaction能够包含任意数目的SQL 语句和存储过程，方法很简单： BEGIN TRANsaction [事务名称] MIT TRANsaction 如果一个事务由于某些故障或者由于用户改变主意而必须在提交 前取消它，则数据库被恢复到这些语句和过程执行之前的状态。

利用ROLLBACK TRANsaction命令可以在MIT TRANsaction命令 前随时回退一个事务。可以回退整个事务，也可以回退部分事务，但 是不能回退一个已经被提交的事务。

ROLLBACK TRANsaction命令为： ROLLBACK TRANsaction [事务名|存储点名] 存储点名是用户放入事务中的标记，用来表示一个可以被回退的 位置。存储点名通过在事务中放入一个SAVE TRANsaction命令而 *** 入。

该命令的句法是： SAVE TRANsaction 存储点名 如果在ROLLBACK TRANsaction中没有给出存储点名或事务名，则 事务被回退到批处理中的第一个BEGIN TRANsaction语句处。

Q2: mysql利用存储过程实现批量处理数据的简单操作

-- 判断存储test是否存在mysql怎么处理数据，如果存在则删除

DROP PROCEDURE IF EXISTS test;

-- 创建存储过程

CREATE PROCEDURE test()

BEGIN

-- 声明循环变量int型 i

DECLARE i INT DEFAULT 1;

-- 设置i=0

set i=0;

-- 循环100次

while i100 do

-- if判断i为偶数

if i%2 = 0 THEN

-- 要实现mysql怎么处理数据的操作  CONCAT(str1,str2,...) concat函数用于拼接子串和数字类型

INSERT into user(name,addr) VALUES(CONCAT('test',i,'ss'),'addr');

end if;

-- i自增

set i=i+1;

END WHILE;

END;

-- 调用存储过程

CALL test()

mysql怎么处理数据的介绍就聊到这里吧，感谢你花时间阅读本站内容，更多关于mysql 数据、mysql怎么处理数据的信息别忘了在本站进行查找喔。