Doris系列12-数据导入之Broker Load
Broker load 是一个异步的导入方式，支持的数据源取决于 Broker 进程支持的数据源。
用户需要通过 MySQL 协议 创建 Broker load 导入，并通过查看导入命令检查导入结果。
适用场景:
源数据在 Broker 可以访问的存储系统中，如 HDFS。
数据量在 几十到百GB 级别。
名词解释：
基本原理:
用户在提交导入任务后，FE 会生成对应的 Plan 并根据目前 BE 的个数和文件的大小，将 Plan 分给 多个 BE 执行，每个 BE 执行一部分导入数据。
BE 在执行的过程中会从 Broker 拉取数据，在对数据 transform 之后将数据导入系统。所有 BE 均完成导入，由 FE 最终决定导入是否成功。
语法：
示例:
创建导入的详细语法执行 HELP BROKER LOAD 查看语法帮助。这里主要介绍 Broker load 的创建导入语法中参数意义和注意事项。
导入任务的标识。每个导入任务，都有一个在单 database 内部唯一的 Label。Label 是用户在导入命令中自定义的名称。通过这个 Label，用户可以查看对应导入任务的执行情况。
Label 的另一个作用，是防止用户重复导入相同的数据。强烈推荐用户同一批次数据使用相同的label。这样同一批次数据的重复请求只会被接受一次，保证了 At-Most-Once 语义
当 Label 对应的导入作业状态为 CANCELLED 时，可以再次使用该 Label 提交导入作业。
数据描述类参数主要指的是 Broker load 创建导入语句中的属于 data_desc 部分的参数。每组 data_desc 主要表述了本次导入涉及到的数据源地址，ETL 函数，目标表及分区等信息。
下面主要对数据描述类的部分参数详细解释：
导入作业参数主要指的是 Broker load 创建导入语句中的属于 opt_properties部分的参数。导入作业参数是作用于整个导入作业的。
下面主要对导入作业参数的部分参数详细解释：
这里以列类型为 TinyInt 来举例：
这里以列类型为 Decimal(1,0) 举例:
Broker load 导入方式由于是异步的，所以用户必须将创建导入的 Label 记录，并且在查看导入命令中使用 Label 来查看导入结果。查看导入命令在所有导入方式中是通用的，具体语法可执行 HELP SHOW LOAD 查看。
示例:
下面主要介绍了查看导入命令返回结果集中参数意义：
当 Broker load 作业状态不为 CANCELLED 或 FINISHED 时，可以被用户手动取消。取消时需要指定待取消导入任务的 Label 。取消导入命令语法可执行 HELP CANCEL LOAD查看。
下面几个配置属于 Broker load 的系统级别配置，也就是作用于所有 Broker load 导入任务的配置。主要通过修改 fe.conf来调整配置值。
min_bytes_per_broker_scanner/max_bytes_per_broker_scanner/max_broker_concurrency
前两个配置限制了单个 BE 处理的数据量的最小和最大值。第三个配置限制了一个作业的最大的导入并发数。最小处理的数据量，最大并发数，源文件的大小和当前集群 BE 的个数 共同决定了本次导入的并发数。
通常一个导入作业支持的最大数据量为 max_bytes_per_broker_scanner * BE 节点数。如果需要导入更大数据量，则需要适当调整 max_bytes_per_broker_scanner 参数的大小。
默认配置：
doris端创建表
准备load 命令
查看导入的进度
等待执行完成:
doris端创建表
准备load 命令
查看导入的进度
oris的表怎么样
第二次世界大战时，豪利时为美国空军及领航员设计了大表冠手表，从而成为著名品牌。1904年以来，Oris坚持以传统的瑞士工艺创制真正完美的机械腕表，深受年轻一代喜爱。Oris的机械时计系列备有多款特别的设计，满足不同人士的需求，像指针式日历指示，小三针及闹钟等。豪利时(Oris)致力于打造完美时计，为...
问下豪利时手表属于什么档次?和梅花手表比起来怎么样?
按百度上品牌排名只是参考。从品牌历史角度讲，豪利时（ORIS）是优于梅花的。两者同为独立制表厂，制表工艺精湛，各有特点。定价方面豪利时要高于梅花表，豪利时和浪琴定价差不多档次。风格来说，梅花偏重于经典款。豪利时比较现代时尚感，潜水系列、飞行员系列、赛车系列及文化系列都非常不错。同样的预算，...
豪利时跟浪琴哪个好?
2）粗犷豪放——豪利时 豪利时(Oris)，期初是瑞士的小制表工厂，第二次世界大战时，豪利时为美空军及特种部队设计了大表冠手表，从此奠定了欧美市场，特别是美市场深受年青一代喜爱。豪利时侧重运动型腕表，在F1、潜水、极限运动，飞行及好莱坞等多项领域与名人合作，豪利时侧重北美市场，在国内市场起步比较...
o r l s 是什么牌子的手表
创 始 人：Paul Cattin 和 Georges Christian 1904年 二十世纪初，Paul Cattin 和 Georges Christian,两人在瑞士Hölstein 设立了Oris制表工厂 1925年 Oris 开设自己的电镀工厂.1938年 传奇性的指针式日历表开始生产，为Oris的历史写下新的里程碑。从此，指针式日历表一直是Oris系列产品之一.1949年...
豪利时手表与浪琴表哪个好些
豪利时大多使用eta机芯，但是1904年以来，Oris坚持以传统的瑞士工艺创制真正完美的机械腕表，深受年青一代喜爱。Oris的机械时计系列备有多款特别的设计，满足不同人士的需求，像指针式日历指示，小三针及闹钟等。2、浪琴手表浪琴(LONGINES)于1832年在瑞士索伊米亚创立，拥有逾183年的悠久历史与精湛工艺，在...
豪利时手表价格
不同的型号有不同的价格 豪利时源于瑞士1904年，为第二次世界大战的美国空军及领航员设计的大表冠手表。1904年以来，Oris坚持以传统的瑞士工艺创制真正完美的机械腕表，深受年青一代喜爱。多数的Oris手表，定价在四百到八百美元之间，许多人可以负担得起。Oris的机械时计系列备有多款特别的设计，满足不同...
豪利时手表和西铁城哪个好
题主已经买了吗？个人觉得如果在同等价位选，建议还是买西铁城，毕竟性价比高。豪利时是一个瑞士的中低端品牌，主要是做机械表，论走时精准度跟光动能表是没法比。而且，他家表在国内卖的还是稍微贵了点。另外，在走时方面，我个人是接受不了误差的，如果题主也喜欢更精准、约零误差，那就绕道选择...
浪琴和豪利时哪个好?
浪琴好，认知度高，国际知名品牌。浪琴(LONGINES)于1832年在瑞士索伊米亚创立，拥有逾183年的悠久历史与精湛工艺，在运动计时领域亦拥有显赫传统与卓越经验。以飞翼沙漏为标志的浪琴表以优雅着称于世，作为全球领先钟表制造商斯沃琪集团旗下的著名品牌，浪琴表已遍布世界130多个国家。浪琴手表拥有少量的自产...
什么手表比较好?
美度的天文台认证机芯系列腕表，价格不少都在8千左右，性能外观都相当不错。预算一万的话，美度的指挥官系列或者美度的复杂款是不错的选择，例如上图的美度舵手GMT腕表。品牌三：豪利时Oris 豪利时是被低估了腕表品牌，豪利时的腕表颜值够高，而且有自己的特色，性价比也很不错，不过就是宣传不够，在国内...
请问豪利时和豪雅哪个更好
第二次世界大战时，豪利时为美国空军及领航员设计了大表冠手表，从而成为著名品牌。1904年以来，Oris坚持以传统的瑞士工艺创制真正完美的机械腕表，深受年青一代喜爱。多数的Oris手表，定价在四百到八百美元之间，许多人可以负担得起。Oris的机械时计系列备有多款特别的设计，满足不同人士的需求，像指针式...
源农甲磺： 不用VB代码,手动导入可以用access的导入功能.方法:功能菜单->外部数据->Excel 然后按提示1、选择文件2、选择导入的Sheet名称3、首行是否包含标题4、选择索引5、添加主键6、导入到Access的表名7、完成
容城县19139829022： 怎么获取REPORT - ID的值 - ？
源农甲磺： 你复制下来直接运行<br><br>1<br>2<br>3<br>4<br>5<br>6<br>7<br>8<br>9<br>10<br>11<br>12<br>13<br>14<br>15<br>16<br>17<br>18<br>19<br> <!DOCTYPE html PUBLIC ＂-//W3C//DTD XHTML 1.0 Transitional//EN＂ ＂http://www.w3....
容城县19139829022： doris是什么吉他品牌 - ？
源农甲磺： 美国手工定制吉他品牌Marvell推出的入门练习级——Doris子系列.Doris传承了Marvell的设计和精髓,并以stage anywhere(舞台无处不在)的理念和生活态度,向世人展示着自己.在中国工厂化生产后...
容城县19139829022： asp.net往SQL数据库插入数据,如何判断是否插入成功? - ？
源农甲磺： 如果你的age是表示日期而不是表示年龄的话,可参考以下代码:<br> protected void page_load(object sender, eventargs e)<br> {<br> if (!ispostback) //令括号内代码只在第一次浏览这个页面的时候执行 by marco<br> {<br> for (int i = 1900; i < ...
容城县19139829022： 百分数表示( ),百分数也叫做( )或者( ). 百分之零点一二写作( ),二五折改写成百分数是( ),它含有( )个1%. 2、5 1 =( )÷( )=( )∶( - ？
源农甲磺： (1)百分数表示(一个数是另一个数的百分之几的数),也叫(百分率)或(百分比). (2)百分之零点一二写作(0.12%),二五折改写成百分数是(25%),它含有(25)个1%. 故答案为:一个数是另一个数的百分之几的数,百分率,百分比,0.12%,25%,25.
容城县19139829022： 怎么查看往后台传的ajax数据 - ？
源农甲磺： jquery中ajax只需配置相应的参数即可传参到后台页面.<br>格式如下:<br><br>1<br>2<br>3<br>4<br>5<br>6<br>7<br>8<br>9<br>10<br>11<br>12<br>13<br><br>$.ajax({<br>type: ＂get＂,//数据发送的方式(post 或者 get)<br>url: ＂/...
容城县19139829022： 某化合物NMR数据为δ1.2(3H,t),δ2.3(2H,q)及δ3.9(3H,s),则该化合...？
源农甲磺： 右击移动硬盘图标,属性----安全 看下里面的权限设置
容城县19139829022： java 解析js的json数据 - ？
源农甲磺： 一、JSON(JavaScript Object Notation) 是一种轻量级的数据交换格式,采用完全独立于语言的文本格式,<br><br>是理想的数据交换格式,同时,JSON是 JavaScript 原生格式.<br><br>非常适合于服务器与 JavaScript 的交互<br><br>二、如何...
