10t数据 你算下需要多少台服务器存，然后哈希用户唯一标识，给用户平均的分配到服务器上，
创新互联建站专注于西盟网站建设服务及定制，我们拥有丰富的企业做网站经验。 热诚为您提供西盟营销型网站建设，西盟网站制作、西盟网页设计、西盟网站官网定制、微信小程序服务，打造西盟网络公司原创品牌,更为您提供西盟网站排名全网营销落地服务。
但是，你的这个假设也太逗了。假设1g数据单表。存500万条，你这10t数据，，一天就要产生5千亿条记录。你的网站干嘛的，给全银河系的人访问的吧
下面通过创建100张表来演示下1亿条数据的分表过程，具体请看下文代码。
当数据量猛增的时候，大家都会选择库表散列等等方式去优化数据读写速度。笔者做了一个简单的尝试，1亿条数据，分100张表。具体实现过程如下：
首先创建100张表：
$i=0;
while($i=99){
echo
"$newNumber
\r\n";
$sql="CREATE
TABLE
`code_".$i."`
(
`full_code`
char(10)
NOT
NULL,
`create_time`
int(10)
unsigned
NOT
NULL,
PRIMARY
KEY
(`full_code`),
)
ENGINE=MyISAM
DEFAULT
CHARSET=utf8";
mysql_query($sql);
$i++;
下面说一下我的分表规则，full_code作为主键，我们对full_code做hash
函数如下：
$table_name=get_hash_table('code',$full_code);
function
get_hash_table($table,$code,$s=100){
$hash
=
sprintf("%u",
crc32($code));
echo
$hash;
$hash1
=
intval(fmod($hash,
$s));
return
$table."_".$hash1;
}
这样插入数据前通过get_hash_table获取数据存放的表名。
最后我们使用merge存储引擎来实现一张完整的code表
CREATE
TABLE
IF
NOT
EXISTS
`code`
(
`full_code`
char(10)
NOT
NULL,
`create_time`
int(10)
unsigned
NOT
NULL,
INDEX(full_code)
)
TYPE=MERGE
UNION=(code_0,code_1,code_2.......)
INSERT_METHOD=LAST
;
这样我们通过select
*
from
code就可以得到所有的full_code数据了。
以上介绍就是本文的全部内容，希望对大家有所帮助。
分卷导出思路：统计sql语句变量的长度，按1个字符当成1
字节比较，如果大于设定分卷大小，则写入一个sql文件（我也不知道这样统计是否稳当，这也是借鉴其他的人的）。
分卷导入思路：按行读取sql文件，将每一行当作完整的sql语句存到数组再循环执行插入数据库就可以了，但是在创建表语句分了多行，这个需要单独处理（就这个花了我好长时间的）；
?php
//宋正河
转载请注明出处
set_time_limit(0);
header('content-type:text/html;charset=utf-8');
mysql_connect('localhost','root','root');
mysql_select_db('test');
$table_array=get_tables('test');
mysql_query('set
names
utf8');
$filesize=1024*1024*4;
$start=$_GET['start']?$_GET['start']:0;
$part=$_GET['part']?$_GET['part']:'1';
$table_index=$_GET['table_index']?$_GET['table_index']:'0';
$table=$table_array[$table_index];
$num=200000000;//这个数要足够大,可以是总记录数
$backupdata='';
if($start=='0'){
$query="SHOW
CREATE
TABLE
`{$table}`";
$result
=
mysql_query($query);
$row
=
mysql_fetch_row($result);
$backupdata
.=
"DROP
TABLE
IF
EXISTS
`{$table}`;\n"
.
$row[1]
.
";\n\n";
}
$limit=($start=='0')?'':"
limit
$start,$num
";
$query="select
*
from
`{$table}`
$limit
";
$result=mysql_query($query);
$numfields
=
mysql_num_fields($result);
//统计字段数
while($row=mysql_fetch_row($result)){
$comma
=
'';
//存储逗号
$backupdata_tmp
=
"INSERT
INTO
`{$table}`
VALUES
(";
for($i=0;
$i$numfields;
$i++){
$backupdata_tmp
.=
$comma
.
"'"
.
mysql_escape_string($row[$i])
.
"'";
$comma
=
',';
}
$backupdata_tmp
.=
");\n";
if(strlen($backupdata)+strlen($backupdata_tmp)
$filesize){
//写入文件并跳转
$file='data/'.$table.'-'.$part.'.sql';
file_put_contents($file,$backupdata);
echo
$file.'
备份完成，程序继续进行！';
$part++;
//分段
//表名
//起点
//跳转
sleep(3);
echo
"scriptlocation.href='?start={$start}table_index={$table_index}part={$part}';/script";
exit;
}
$backupdata.=$backupdata_tmp;
$start++;
}
if($backupdata){
$file='data/'.$table.'-'.$part.'.sql';
file_put_contents($file,$backupdata);
}
echo
$table.'备份完成！br
/';
sleep(2);
$table_index++;
if($table_array[$table_index]){
echo
"scriptlocation.href='?table_index={$table_index}';/script";
exit;
}else{
echo
'恭喜你，数据库备份完毕！';
}
function
get_tables($db){
$tq
=
mysql_list_tables($db);
while($tr
=
mysql_fetch_row($tq)){
$arrtb[]
=
$tr[0];
}
return
$arrtb;
}
?
以上所述就是本文的全部内容了，希望大家能够喜欢。
