位置导航 >> 返回首页 >> Cloudera
启动Hadoop时遇到Name or service not knownstname错误
启动Hadoop时遇到Name or service not knownstname错误: 1 : Name or service not knownstname master 2 : Name or service not knownstname slaver1 3 : Name or service not knownstname slaver2 原因:slaves文件可能被污染了。 解决方法:删除掉slaves文件,重新建立一个slaves文件,并配...
Mac下Apache Spark 1.6+Hadoop 2.6单机安装配置
Mac下Apache Spark 1.6+Hadoop 2.6单机安装配置: 一、 下载资料 1. JDK 1.6 + 2. Scala 2.10.4 3. Hadoop 2.6.4 4. Spark 1.6 二、预先安装 1. 安装JDK 2. 安装Scala 2.10.4 解压安装包即可 3. 配置sshd ssh-keygen -t dsa -P '' -f ~/.ssh/id_dsa cat ~/.ssh/id_dsa.pub >>...
hadoop 2.6.0伪分布式单机安装教程
hadoop 2.6.0伪分布式单机安装教程: 一、安装前的准备,jdk-8u66-linux-x64.tar.gz(建分布式的时候会需要)、hadoop-2.6.0-x64.tar.gz 二、进入root用户,ifconfig 查看本机ip,牢记本机ip地址;安装伪分布式的时候可以直接输入yum -y install java* 即可自动下载安装并且配置好环境变量,java -version 查看jav...
Cloudera培训:Ubuntu下安装Hadoop(完全分布模式)
Cloudera培训:Ubuntu下安装Hadoop(完全分布模式): 一.前言 Hadoop的安装模式主要有三种:单机模式,伪分布模式和集群模式。单机模式和伪分布模式的安装配置请参考上文Ubuntu下安装Hadoop(单机模式+伪分布模式),真正使用时使用的是hadoop的集群模式。 本文主要讲解在Linux环境下hadoop集群模式的安装和配...
从问题域出发认识Hadoop生态系统
从问题域出发认识Hadoop生态系统,近些年来Hadoop生态系统发展迅猛,它本身包含的软件越来越多,同时带动了周边系统的繁荣发展。尤其是在分布式计算这一领域,系统繁多纷杂,时不时冒出一个系统,号称自己比MapReduce或者Hive高效几十倍,几百倍。 有一些无知的人,总是跟着瞎起哄,说Impala将取代Hive,Spark将取...
Apache Hive走向内存计算
Apache Hive走向内存计算,Apache Hive 2.1已于几个月前发布,它引入了内存计算,这使得Hive计算性能得到极大提升,这将会影响SQL On Hadoop目前的竞争局面。据测试,其性能提高约26倍。 Apache Hive 2.1新引入了6大性能,包括: (1)LLAP。Apache Hive 2.0引入了LLAP(Live Long And Process),而2.1则对其进...
管理大数据存储的技巧
管理大数据存储的技巧,在1990年,每一台应用服务器都倾向拥有直连式系统(DAS)。SAN的构建则是为了更大的规模和更高的效率提供共享的池存储。Hadoop已经逆转了这一趋势回归DAS。每一个Hadoop集群都拥有自身的——虽然是横向扩展型——直连式存储,这有助于Hadoop管理数据本地化,但也放弃了共享存储的规模和效率。...
数据库管理的下一站:云环境Hadoop
数据库管理的下一站:云环境Hadoop,最近这些年,在数据库管理方面发生了许多变化。开发人员在选择全新的数据库类型,随着云计算使用日益增长,关系型数据库全面统治企业的地位受到了挑战。 最近的更多变化都增加了对托管数据库服务的依赖,这样可以减少用户商店的一些管理任务,同时可以满足开发者连接各种数据源...
数据太大?你该了解Hadoop分布式文件系统
数据太大?你该了解Hadoop分布式文件系统,大数据时代来了。当所有人都争吵着这件事情的时候,当所有企业都看好大数据的发展前景的时候,却都很少关注这些数据从哪儿来,我们有没有足够优秀的技术能力处理这些数据。 联网设备增加 数据量随之上升 网络的发展无疑为我们迎接大数据时代、智能计算时代铺好了路。根...
Hadoop十年,推动数据驱动型分析快速发展
Hadoop十年,推动数据驱动型分析快速发展,Hadoop迎来了10周年的生日。关于Hadoop,有很多大事件依然历历在目:Hadoop成为Apache的子项目并获得命名,第一版Hadoop代码发布,第一批用户部署了该代码。为了纪念这些事件,大数据供应商的高管们为该分布式处理框架过去十年中在数据管理和分析处理上的影响给予了高度的...
关于分布式系统的思考
关于分布式系统的思考,在讨论常见架构前,先简单了解下CAP理论:   CAP 是 Consistency、Availablity 和 Partition-tolerance 的缩写。分别是指:   一致性(Consistency):每次读操作都能保证返回的是最新数据;   可用性(Availablity):任何一个没有发生故障的节点,会在合理的时间内返回一个正常的结果...
Hadoop的过去、现在和未来
Hadoop的过去、现在和未来,Hadoop是目前大数据分析领域中应用最广泛的一种分布式架构,而经过相当长时间的发展,Hadoop在功能上也越来越成熟。不过,在这个星球上,你找不到拥有11年Hadoop经验的人。因为目前在Hadoop领域经验最丰富的人是Doug Cutting,他在Hadoop方面拥有的经验是10年零7个月。而这位Doug Cutti...
Hadoop HA 高可用集群部署搭建
Hadoop HA 高可用集群部署搭建: 1. 概论 本指南提供了一个HDFS 的高可用性(HA )功能的概述,以及如何配置和管理HDFS 高可用性(HA) 集群。本文档假定读者具有对HDFS 集群的组件和节点类型具有一定理解。有关详情,请参阅Apache 的HDFS 的架构指南:http://hadoop.apache.org/common/docs/current/hdfs_design....
Hadoop Name启动为standby状态shell命令报错
Hadoop Name启动为standby状态shell命令报错: 16/07/25 03:13:19 WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable 16/07/25 03:13:23 INFO retry.RetryInvocationHandler: Exception while invoking getFileInfo of cla...
Maven搭建Hadoop环境报Missing artifact jdk.toolsjdk.toolsjar1.6
Maven搭建Hadoop环境报Missing artifact jdk.toolsjdk.toolsjar1.6,Maven引入Hadoop依赖报错:Missing artifact jdk.tools:jdk.tools:jar:1.6。 <dependency> <groupId>org.apache.hadoop</groupId> <artifactId>hadoop-mapreduce-client-core</...
顶级Hadoop发行版的四个对比因素
顶级Hadoop发行版的四个对比因素,通过检查顶级的Hadoop发行版的关键特征,你可以决定哪些订阅适合你的组织。虽然软件组件构成的Hadoop生态系统堆栈是开源技术,但是采用付费订阅使用其供应商的商业Hadoop平台会为企业带来许多好处。 例如,订阅可以提供技术支持和培训,以及访问那些不提供给开源社区的企业功能。...
基于Hadoop SLA认证机制实现权限控制
基于Hadoop SLA认证机制实现权限控制,Hadoop集群上存储数据,同时基于MapReduce计算框架可以实现计算任务,那么无论是从数据保护的角度,还是从提交计算任务占用资源的角度来看,都需要存在一种权限管理与分配机制,能够很好地限制哪些人可以在HDFS上存储数据,哪些人可以利用集群的资源来处理特定的计算任务。 ...
Hadoop block学习小结
Hadoop block学习小结,当写入一个文件到 HDFS 时,它被切分成数据块,块大小是由配置文件 hdfs-default.xml 中的参数 dfs.blocksize (自 Hadoop-2.2 版本后,默认值为 134217728字节即 128M,可以在 hdfs-site.xml 文件中改变覆盖其值,单位可以为k、m、g、t、p、e等)控制的。每个块存储在一个或者多个节点,这...
Hadoop HDFS学习小结
Hadoop HDFS学习小结: 1.HDFS(Hadoop Distributed File System) hadoop分布式文件系统,由管理文件系统元数据(metadata)的NameNode和存储实际数据的DataNode组成。 通过分布式的存储机制支持线性增长的海量存储能力。 数据自动冗余,无须通过RAID进行备份。 一次写入,多次读,不能修改,简单一致,1.xx...
清华联手Cloudera发布大数据人才项目
清华联手Cloudera发布大数据人才项目,在Cloudera CAP学术合作项目的支持下,清华大学和Cloudera将联合发布BASE (Big Analytics Skill Enablement)倡议,以解决中国大数据行业的人才稀缺困境。此次合作还将推动中国研究机构与企业参与国际大数据开源社区建设,进而推动企业大数据应用开发与价值挖掘的行业繁荣。...
Hadoop 3.0纠删码:能节省一半存储空间
Hadoop 3.0纠删码:能节省一半存储空间,随着大数据技术的发展, HDFS 作为 Hadoop 的核心模块之一得到了广泛的应用。为了系统的可靠性, HDFS 通过复制来实现这种机制。但在HDFS中每一份数据都有两个副本,这也使得存储利用率仅为1/3,每TB数据都需要占用3TB的存储空间。随着数据量的增长,复制的代价也变得越来越...
Cloudera与微软合作推出开源项目Livy
Cloudera与微软合作推出开源项目Livy,在近日举行的Spark技术峰会上,Cloudera宣布与微软共同合作,致力于减轻应用开发者在使用Spark方面的工作。Cloudera和微软及其他开源贡献者,创建了一个新的Apache许可并基于REST的开源Spark服务,名为Livy。   Livy为应用程序与Spark相连接、交付作业以及程序化检索结果提...
如何让Hadoop支持优先级且性能可预测
如何让Hadoop支持优先级且性能可预测,Apache Hadoop近十年的成长证明,用开源技术处理与访问海量数据并不是什么炒作。然而,Hadoop的一个缺点是不可预测性。Hadoop不能确保企业的关键任务按时完成,也不能完全发挥集群的性能。 YARN(一种新的Hadoop资源管理器)能够实现任务抢占,为队列中的其它任务腾出调度空间...
Centos 6.5安装配置Cloudera Manager CDH5.6.0
Centos 6.5安装配置Cloudera Manager CDH5.6.0,环境规划。 操作系统版本:CentOS-6.5-x86_64-minimal.iso 192.168.253.241 master 虚拟机4G内存 192.168.253.242 slave1 虚拟机2G内存 192.168.253.243 slave2 虚...
Uninstalling Cloudera Manager and CDH in SLES
Uninstalling Cloudera Manager and CDH in SLES。 一、如果在安装过程中因为某些原因没有正常完成安装,你想重新继续安装。 执行: 1、删除文件和目录 rm -Rf /usr/share/cmf /var/lib/cloudera* /var/cache/yum/cloudera* 2、重新启用安装程序 二、如果你想彻底卸载Cloudera Manager 和 CDH 软件和数据。 ...
客户端cloudera-scm-agent启动报错
客户端cloudera-scm-agent启动报错,环境:cloudera 5.4.1、CentOS release 6.6 x64。 报错 [02/Feb/2016 04:03:31 +0000] 18593 MainThread agent ERROR Heartbeating to localhost:7182 failed. Traceback (most recent call last): Fi...
离线安装Cloudera Manager
离线安装Cloudera Manager,关于CDH和Cloudera Manager:CDH (Cloudera's Distribution, including Apache Hadoop),是Hadoop众多分支中的一种,由Cloudera维护,基于稳定版本的ApacheHadoop构建,并集成了很多补丁,可直接用于生产环境(本次项目环境使用了4个节点的CDH5.1.3版本)。 Cloudera Manager则是为了便...
不同Hadoop上的SQL数据库引擎如何适配BI工作
不同Hadoop上的SQL数据库引擎如何适配BI工作,Impala是Cloudera公司主导开发的新型查询系统,它提供SQL语义,能查询存储在Hadoop的HDFS和HBase中的PB级大数据。Hadoop上的SQL引擎Impala是一种新型查询系统基准,发现Spark和Hive在BI的工作负载中有自己的优势与弱势。 根据最新的基准,三个主要的SQL-on-Hadoop引擎,...
Hadoop下一个十年
Hadoop下一个十年,Hadoop的未来是什么样的?10年以后大数据是不是已经进博物馆了?会不会有一个新公司成为数据管理界的新的巨头,犹如今日的Oracle?会不会有高富帅的企业已经有百万、千万甚至更多机器组成的数据中心? 有许多的可能,但我们相信Hadoop所“发明”的分布式计算框架仍然会是大数据的核心标志。 1...
为什么Hadoop如此成功?
为什么Hadoop如此成功?这个问题似乎是个马后炮,但当我们今天惊叹于Hadoop在短短10年时间取得如此统治性地位的时候,确实会自然而然地思考为什么这一切会发生。基于与同期其他项目的比较,我们认为有很多因素的综合作用造就了这一奇迹: 技术架构:Hadoop推崇的本地化计算理念,其实现在可扩展性、可靠性上的优势...
共 36 页 每页 30 条  1/2条   <<   <<   1   2   >>   :   GO 

相关课程

     思科培训      微软培训      红帽Linux培训      Oracle培训      华为培训
     F5 Networks培训      IT管理培训      Juniper培训      VMware培训      Cissp培训
     Spark培训      Openstack培训      IBM AIX培训      Cloudera培训      Citrix培训

在线咨询
◆微软将在Office中引入人工智能 ◆微软发Surface Pro 4/Studio固件更新日志 ◆微软:AI人工智能应该帮助,而不是替代人 ◆微软推出WDATP强化企业终端威胁防护 ◆Windows申请免费SSL证书-Let's Encrypt ◆思科ASAP助力全数字化时代数据中心创新 ◆怎样选择合适的PoE交换机? ◆思科持续保持企业基础设施市场优势 ◆网络工程师需要的8项技能 ◆思科IOS中改善CLI的用户体验 ◆H3C交换机以太网端口类型 ◆H3C交换机做DHCP ◆H3C交换机常用配置命令 ◆新华三集团总裁兼首席执行官于英涛2017年会致辞 ◆新华三加速云落地 ◆RHEL7 配置VNC远程桌面 ◆RHEL7利用iso镜像制作本地yum源 ◆RHEL6 学习笔记 ◆RedHat5和RedHat6 配置yum源详解 ◆RedHat7上为Nginx编译安装nginx_push_stream_module ◆是否有必要参加PMP考试培训 ◆该怎么选择PMP培训公司 ◆企业为什么需要IT配置管理及其如何使用 ◆PMP考试心得 ◆IT资产管理与ITIL配置管理的区别和联系 ◆Juniper用户快更新:Junos OS、SRX有DoS漏洞 ◆Juniper防火墙之恢复出厂默认设置 ◆Juniper SSG双机高可用(HA)平滑升级经验分享 ◆高盛:Juniper市场表现将超过Cisco和Arista ◆Juniper收购云管理公司AppFormix ◆F5 Network:让爱点亮世界 ◆F5发布2017年应用交付状态报告 ◆除F5外,其他负载均衡软件的优缺点 ◆负载均衡的那些算法们 ◆F5配置手册:设备初始化配置 ◆Oracle培训:Oracle数据泵导入dmp文件 ◆Oracle培训:Oracle手工建库出现ORA-01519错误 ◆Oracle培训:Oracle CDC部署 ◆Oracle培训:Oracle 12c创建可插拔数据库(PDB)及用户 ◆Oracle EXP和IMP使用方法介绍 ◆VMware中CentOS 6.6的kdump启动失败解决 ◆VMware NSX升级:微细分、安全启动和支持非vSphere环境 ◆VMware虚拟化培训:虚拟化的基础知识 ◆VMware发布2016数字化工作空间现状报告 ◆VMware助力广州科政实现恒大集团打造全虚拟化数据中心 ◆戴尔EMC补丁在VMAX存储系统中出现漏洞 ◆EMC进行SAN拆分,解决更细化的存储需求 ◆EMC数据中心全闪存年,机架级闪存可让Hadoop提速10倍 ◆EMC发布2016年新品和技术路线 ◆重新定义企业IT,EMC联手VMware推超融合 ◆最近面试的大数据岗位的公司经历 ◆用大数据预测雾霾,已获得环保部订单的微软是如何做到的? ◆大数据学习经验 ◆身处大数据时代,大数据这些误区你知道吗 ◆大数据分析促进人才招聘 ◆云计算SaaS采用要考虑的5大因素 ◆如何构建一个私有存储云 ◆云计算的三大支柱 ◆云计算的真正价值不仅仅是节省开支 ◆云计算将改变我们的生活? ◆Apache Spark也有不完美 ◆Spark将机器学习与GPU加速机制纳入自身 ◆spark作业调优 ◆Spark基本工作流程及YARN cluster模式原理 ◆从Spark 2.0版的推出,看开源大数据技术的商业化发展 ◆EasyStack郭长波当选OpenStack基金董事 ◆OpenStack私有云:好处、挑战和未来 ◆在Openstack上创建并访问Kubernetes集群 ◆思科公司关闭基于OpenStack的公共云 ◆2017年OpenStack管理员认证会不会火? ◆IBM和Bell联手共同打造苹果iOS企业应用 ◆IBM首席执行官提出人工智能部署三大基本原则 ◆调研IBM与西门子:软件将是工业的未来! ◆IBM在美获专利最多 ◆IBM闪存迎接新挑战 ◆Hadoop创始人Doug Cutting寄语2017:五种让开源项目成功的方法 ◆基于Ubuntu Hadoop的群集搭建Hive ◆HDFS以及HBase动态增加和删除节点 ◆Cloudera提供课程帮助缩小数据技能差距 ◆Cloudera提供课程帮助缩小数据技能差距 ◆扩大与Azure合作,思杰力推超融合基础设施上部署VDI ◆MapReduce工作流多种实现方式 ◆Citrix虚拟化技术:XenServer6.2资源池配置 ◆Citrix虚拟化技术:XenServer6.2虚拟机创建 ◆Citrix虚拟化技术:XenServer6.2存储管理 ◆2017年十大最热IT技能:安全位列其中 ◆筑牢个人信息安全防火墙 ◆2016年最热门的六大IT职位 ◆CISP认证和CISSP认证区别 ◆成为CISSP的理由