Skip to content

流式导入

本文档介绍如何使用 SQL 语句在 MatrixOne 中进行流式导入数据。具体来说，MatrixOne 支持使用 LOAD DATA INLINE 语法对以 csv 格式组织的字符串进行导入，导入速度较 INSERT 操作更快。

语法结构

mysql> LOAD DATA INLINE 
FORMAT='csv' ,
DATA=$XXX$
csv_string $XXX$
INTO TABLE tbl_name;

参数解释

FORMAT='csv' 表示后面 DATA 中的字符串数据是以 csv 为格式组织的。

DATA=$XXX$ csv_string $XXX$ 中的 $XXX$ 是数据开始和结束的标识符。csv_string 是以 csv 为格式组织字符串数据，以 \n 或者 \r\n 作为换行符。

Note

$XXX$ 为数据开始和结束的标识符，注意数据结束处的 $XXX$ 需要和最后一行数据放在同一行，换行可能导致 ERROR 20101

开始前准备

已完成单机部署 MatrixOne。

MySQL Client 中使用 LOAD DATA INLINE 命令导入数据

你可以使用 LOAD DATA INLINE 将流式数据导入 MatrixOne，本章将介绍如何进行流式导入，并且给出导入 csv 数据的示例。

  1. 启动 MySQL 客户端，连接 MatrixOne：

    mysql -h 127.0.0.1 -P 6001 -uroot -p111

    Note

    上述代码段中的登录账号为初始账号，请在登录 MatrixOne 后及时修改初始密码，参见密码管理。

  2. 在 MatrixOne 中执行 LOAD DATA INLINE 之前，需要提前在 MatrixOne 中创建完成数据表 user:

    CREATE TABLE `user` (
`name` VARCHAR(255) DEFAULT null,
`age` INT DEFAULT null,
`city` VARCHAR(255) DEFAULT null
)

  3. 在 MySQL 客户端执行 LOAD DATA INLINE 进行数据导入，以 csv 格式导入数据：

    mysql> LOAD DATA INLINE 
FORMAT='csv',
DATA=$XXX$
Lihua,23,Shanghai
Bob,25,Beijing $XXX$ 
INTO TABLE user;

Python-pymysql 应用中使用 LOAD DATA INLINE 命令导入数据

PyMySQL 是一个纯 Python MySQL 客户端库，下面将指导你如何使用 PyMySQL 进行 LOAD DATA INLINE 操作。

  1. 下载安装 pymysql：

    pip3 install pymysql 

#If you are in China mainland and have a low downloading speed, you can speed up the download by following commands.
pip3 install pymysql -i https://pypi.tuna.tsinghua.edu.cn/simple

  2. 使用 MySQL 客户端连接 MatrixOne，新建一个名称为 test 数据库和 user 的数据表：

    mysql> create database test;
use test;
CREATE TABLE `user` (
`name` VARCHAR(255) DEFAULT null,
`age` INT DEFAULT null,
`city` VARCHAR(255) DEFAULT null
);

  3. 创建一个纯文本文件 pymysql_load_data_inline.py 并将代码写入文件，此处作为示范 csv_string 只写了两行，你可以根据自己的流式数据决定 csv_string 的大小：

    #!/usr/bin/python3
import pymysql

# Open database connection
db = pymysql.connect(
        host='127.0.01',
        port=6001,
        user='root',
        password = "111",
        db='test',
        )
# prepare a cursor object using cursor() method
cursor = db.cursor()
csv_string="Lihua,23,Shanghai \n Bob,25,Beijing"
sql="load data inline format='csv',data=$XXX$" + csv_string + " $XXX$ into table user;"
# execute SQL query using execute() method.
cursor.execute(sql)
data=db.commit()
# Fetch a single row using fetchone() method.
# disconnect from server
db.close()

  4. 打开一个终端，在终端内执行下面的命令：

    python3 pymysql_load_data_inline.py

  5. 打开 mysql 客户端，查询数据表中的数据，结果如下：

    mysql> select * from user;
+-------+------+-----------+
| name  | age  | city      |
+-------+------+-----------+
| Lihua |   23 | Shanghai  |
|  Bob  |   25 | Beijing   |
+-------+------+-----------+
2 rows in set (0.02 sec)