-
大数据集群开始 kerberos 认证后 Hive 作业执行失败
所属栏目：[大数据] 日期：2021-11-23 热度：81
大数据集群开启 kerberos 安全认证后，HIVE ON SPARK 作业执行失败。通过客户端 beeline 提交作业，报错 spark client 创建失败，其报错信息是： Failed to create spark client for spark session xxx: java.util.concurrent.TimeoutException: client xxx t[详细]
-
因HIVE元数据与HDFS上的数据不一致引起的问题修补
所属栏目：[大数据] 日期：2021-11-23 热度：174
客户端报错如下： Unable to move source xxx to destination xxx 客户端报错 问题分析 客户端的报错信息，并没有完全展现问题背后的全貌。我们进入 hiveserver2 所在节点查看hiveserver2的日志，可以看到如下相关信息： 2021-09-01 11:47:46,795 INFO org.ap[详细]
-
简谈大数据风控平台的功能需要
所属栏目：[大数据] 日期：2021-11-23 热度：113
大数据风控业务的开展依赖智能风控平台，智能风控平台的技术基础是大数据技术，智能风控系统技术架构也是以大数据系统技术架构为基础演进而来的。 智能风控系统技术架构主要分为访问层、展现层、系统层、大数据平台四部分，其中大数据平台又分为接入层、清洗[详细]
-
数据研发，如何平衡效率与质量
所属栏目：[大数据] 日期：2021-11-23 热度：198
数据开发的效率，是如何尽快的将产品设计、业务过程，转换为数据模型;数据开发的质量，则是如何尽快的将数据加工过程中的问题，识别出来。向业务交付的内容，是开发的内容;而如果开发的时候，忽略质量的问题，虽然交付的时候不会有感知，但往往会在排查问题阶[详细]
-
浅谈人工智能、大数据等技术在交通行业的应用
所属栏目：[大数据] 日期：2021-11-23 热度：90
我们将浅谈一下人工智能、大数据、云计算、物联网等技术将会给交通行业带来哪些便利与变革： 1.数据资源整合 由于我国线路众多，与交通相关的绝大多数部门都有自己的信息化平台，并产生着海量数据，但是现在的每个部门及单位内的系统平台大都是独立的，信息与[详细]
-
时代大数据安全和隐私
所属栏目：[大数据] 日期：2021-11-23 热度：82
随着大数据的发展，大数据的安全问题越来越受到行业的重视。 日前，中国信息通信研究院指出了目前大数据发展面临的安全问题，提出了促进大数据安全技术发展的具体建议。 大数据已经严重影响了经济运行机制、社会生活方式和国家治理能力，需要从大安全的角度认[详细]
-
从技术视角看大数据行业的发展走势
所属栏目：[大数据] 日期：2021-11-23 热度：148
关于该趋势，明哥在前期发布过一篇博文，大数据与云计算深度融合的趋势体现在哪些方面? 对该趋势做了自己的解读，这里再次简要描述下。该博文链接如下: 大数据与云计算深度融合的趋势体现在哪些方面? 云原生(Cloud Native)理念，本质上是一套利用云计算技术为[详细]
-
Hdfs 相对路径和静态代码块引起的问题
所属栏目：[大数据] 日期：2021-11-23 热度：170
HIVE 作为大数据生态的数仓解决方案，因为历史的原因在很多行业很多公司都有着广泛的应用。对于比较复杂的业务逻辑，HIVE SQL 往往比较难以表达，此时大家在开发中往往会辅以 HIVE UDF。所以充分理解和掌握 HIVE UDF正确的表写和使用方式，是大数据从业人员[详细]
-
大数据时代，移动联通大数据技术的价值，你知道了多少
所属栏目：[大数据] 日期：2021-11-23 热度：56
大数据时代，移动联通大数据技术的价值，你掌握了多少 大数据技术就是在多种类型的大量数据信息中，快速获得有使用价值信息的技术性，然后做到大数据精准营销。拥有大量信息本身并不能造就出多少使用价值，必须选用具体方法进行处理分析才能够获得其智能化的[详细]
-
大数据与云计算之间的联系
所属栏目：[大数据] 日期：2021-11-23 热度：151
大数据处理大量的结构化，半结构化或非结构化数据，以进行存储和处理以进行数据分析。大数据有五个方面，通过5V来描述 数量数据量 种类不同类型的数据 速度系统中的数据流率 价值 基于其中包含的信息的数据价值 准确性 数据保密性和可用性 云计算以按需付费的[详细]
-
智能制造产业将来竞争格局猜想
所属栏目：[大数据] 日期：2021-11-23 热度：93
目前，智能制造是一个热得发烫的概念，上有政府引导，下有企业跟进。市场中的众多设备厂商、软件提供商，只要有一丁点儿的可能性，都无一例外地拼了命地和智能制造挂上点关系。实在没有相关产品的公司也摇身一变，以智能制造集成商的身份出现在市场中。 我作[详细]
-
中台战略在制造业信息化建设中的应用思量
所属栏目：[大数据] 日期：2021-11-23 热度：55
前段时间有幸走访了一家国内非常牛的制造业企业，做数字化转型方面的调研。作为一家离散制造业企业，其自动化、信息化建设水平在国内都已经处于领先地位了信息化的覆盖率很高，生产现场的设备自动化程度也很高，也做了很多生产现场层面的数据采集，并且建设了[详细]
-
生产设备数据采集有哪些模式？
所属栏目：[大数据] 日期：2021-11-23 热度：194
设备数据采集是指从传感器和其它待测设备等模拟和数字被测单元中自动采集非电量或者电量信号，送到上位机中进行分析处理。数据采集是设备联网的重要环节，其基本要求是不能影响设备当前运行性能，利用设备本身通信协议。数据采集广泛应用于各个领域，如数控机[详细]
-
工信部等你一起揭榜：人工智能产业创新任务
所属栏目：[大数据] 日期：2021-11-23 热度：180
工信部发布工业和信息化部办公厅关于组织开展2021年人工智能产业创新任务揭榜挂帅申报工作的通知。揭榜挂帅工作聚焦人工智能产业发展的核心基[详细]
-
APS排程：车辆路径计划优化算法
所属栏目：[大数据] 日期：2021-11-23 热度：57
车辆路径规划算法在高级排程系统（APS）中，用于计算、优化发货配送计划。 车辆路径规划问题（Vehicle Routing Problem，VRP）一般指的是：对一系列发货点和收货点，组织调用一定的车辆，安排适当的行车路线，使车辆有序地通过它们，在满足指定的约束条件下（[详细]
-
APS排程：三维装箱优化的算法
所属栏目：[大数据] 日期：2021-11-23 热度：105
箱柜装载问题，three-dimensional bin packing problem，简称3D-BPP。给定一些不同类型的方型箱子和一些规格统一的方型容器，问题是要把所有箱子装入最少数量的容器中。箱柜装载问题在现实生活中具有广泛的应用，例如在货运码头、物流、仓储等场所装车、装船[详细]
-
APS排程：二维排样简化算法
所属栏目：[大数据] 日期：2021-11-23 热度：68
二维排样问题普遍存在于工程领域中，如钣金下料、玻璃切割、造船、车辆、家具生产、报刊排版、服装和皮革裁剪等。最优的排样方案可以最大限度地节约材料、提高材料利用率，在经济上制造可观的效益。排样问题属于典型的组合优化问题，从理论上讲，该类问题属于[详细]
-
APS排程：神经网络预估算法
所属栏目：[大数据] 日期：2021-11-23 热度：168
不管是哪种供应链方式，我们都没法回避需求预测，预测是跟不确定性打交道。当不确定性很高时，比如新产品、新项目、新客户，往往很难确定预测。这并不意味着没有预测；相反，这意味着每个职能都在自己做预测，结果是有很多预测。生产需要预测来准备产能，采购[详细]
-
APL 物流的数字化转型之行
所属栏目：[大数据] 日期：2021-11-23 热度：127
APL物流首席信息官Hakan Yaren在2019年加入这家全球供应链物流供应商时，面临着巨大的挑战。这家总部位于新加坡的公司此前推出了业内第一个基于网络的订购和发货跟踪系统，并且希望继续在它的汽车、消费、工业和零售市场持续进行技术创新。 Yaren 的挑战是而[详细]
-
安踏数字化转型示例
所属栏目：[大数据] 日期：2021-11-23 热度：113
在这个不确定的时代，没有哪家企业是安全的，而通过数字化转型却能为企业提供前行动力。只有那些具备数字化能力，用数据和智能武装起来的公司才能实现长远发展。现在越来越多的企业正在数字化转型，但步履维艰、成效不大，成功的企业并不多见。 安踏集团从202[详细]
-
ldquo;Brexitrdquo;或许有一个阳光明媚的技术
所属栏目：[大数据] 日期：2021-11-23 热度：159
技术产业主要反对U.K.退出欧盟的前景 - 这一观点是民意调查和陈述的观点。 例如，在星期四对这个想法的投票，例如，伦敦的市长，例如，加入了城市领导技术和创意公司的140个代表，发布一封敦促投票的信。 我们的资本有可能成为欧洲其他地区的洛杉矶，纽约和硅[详细]
-
BT，爱立信，O2和沃达丰扩展茎为女孩规划
所属栏目：[大数据] 日期：2021-11-23 热度：97
BT，沿网络公司爱立信，O2和沃达丰，达成了一项协议，扩大并扩展了指导计划 - 去年首次试点 - 鼓励更多女孩追求科学，技术，工程和数学（Stew）的职业生涯。 进入Stem项目的步骤由内部妇女网络支持的所有四家公司都支持，这是一个与女孩谈话伦敦的合作伙伴关[详细]
-
众多的高风险漏洞让Cisos争抢修补
所属栏目：[大数据] 日期：2021-11-23 热度：63
IT Security Company F-Secure警告说，周围零天漏洞存在太多的炒作。 在其网络安全州2017年报告中，反病毒安全公司指出：网站cvedetails.com在所有已知的漏洞和所有已知平台上都显示了6.8的平均漏洞得分。 F-Secure表示，在CVE数据库中超过80,000名已知的漏洞[详细]
-
从它到IOT，成立你的技能
所属栏目：[大数据] 日期：2021-11-23 热度：192
事情的互联网正在变得如此之快，这是一个寻找职业生长的明显场所。 根据去年年底的Gartner调查，IOT已经是企业的29％的现实。14％的人表示他们将在今年实施，64％的人表示他们计划最终使用某种形式的IOT。 然而，像许多物联网技术一样，这个庞大的领域的工作[详细]
-
Techuk概述了其Brexit谈判首先事项
所属栏目：[大数据] 日期：2021-11-23 热度：178
英国技术部门呼吁政府在即将到来的Brexit谈判中优先考虑获得欧盟市场，技能和跨境数据转移。 随着英国政府被命令决定通过议会触发离开欧洲联盟（欧盟）的正式进程，英国技术贸易协会Techuk宣布在英国与剩余欧盟成员之间讨论中看到的内容。 贸易机构表示，确保[详细]
