hadoop

我想连接Java和Hbase我得到一个错误: java。lang。IllegalArgumentException: Unable to规范化地址 localhost/<unresolved>:2222 because it's not resolvable at org.apache.zookeeper.SaslServerPr...

我想在一个文件夹列表中选择最后一个文件来进行一个mahout clusterdum呼叫。举个例子，看看blow代码，文件可以是doc -kmeans-clusters/clusters-3-final或者doc -kmeans-clusters/clusters-2-final等等。 我该怎...

我在Spark 3。1。2和Hadoop 2。7中遇到了两个错误: 第一个是在Python中导入'pyspark'并创建会话时。 第二个问题发生在我尝试在powershell中运行“pyspark”，看看它是否工作 错误:'&在这个时候是意外的。' ...

我有一个9个节点的集群，可扩展到19个节点。 我在内存中持久化了数据帧，内存中的数据大小是61。9 Gb。 然后，对于配置中的一些问题，Yarn开始与一些节点断开连接(这不是OutOfMemory问题)。 在每个节点死后，会...

我试图连接到一个preto DB安装在远程服务器从我的mac本地机器使用pyspark下面是我的代码。我已经下载了presto驱动程序，并把它放在/user/name//Hadoop/spark-2。3。1-bin-hadoop2。7/jars(我猜这是我犯错误的地方...

我已经成功配置和部署hadoop。 运行JPS命令显示所有节点运行正常。 36256 DataNode 36405 SecondaryNameNode 36149 NameNode 36779 Jps 9775 但是我不能访问web项目从: NameNode - http://localhost:50...

我有一个scala代码库，我使用Hadoop文件系统api访问azure blob文件(而不是azure blob web客户端)。我使用的格式是: val hadoopConfig = new Configuration() hadoopConfig.set(s"fs.azure.sas.${blobContai...

我有一个hadoop集群，我想把一组hadoop目录放在一个特定的磁盘集(一些目录在快速磁盘和一些其他目录在慢磁盘)。 我怎样才能实现这个目标？ 我是否应该使用归档存储策略来移动指定目录上标记为磁盘或归档的某些文...

我在一个docker容器中有一个正在运行的apache-superset，我想要连接到一个正在运行的apache-kylin(不在docker内部)。 'kylin://ADMIN@KYLIN@local:7070/test ': [SupersetError(message='(builtins。NoneType) N...

我编写查询是为了显示特定年份的数据条目。日期存储为dd/mm/yyyy hh:mm:ss。(时间戳-例如12/2/2014 0:00:00)。 我试图显示由特定年份(从orderdate算起的年份)过滤的两列(name orderdate)。要求是输入具体年份(201...

/var/lib/spark-2.3.4-bin-hadoop2.7/bin/spark-submit --master spark://myhost:6066 --conf spark.hadoop.fs.s3a.access.key='redact1' --conf spark.executorEnv.AWS_ACCESS_KEY_ID='redact1' --conf spark.dri...

在问我的问题之前，我只是想给YARN使用公平调度器和容量调度器之间的区别 公平调度器 公平调度是一种将资源分配给工作的方法，这样所有的工作都会随着时间的推移平均获得同等的资源份额。当有单个作业运行时，该...

我在玩一个简单的数据集，你可以在这里找到。 不管我做什么，在给定数据集的第四列调用SUM()聚合函数都会返回错误的答案。 这里是我使用的确切代码: create database beep_boop; use beep_boop; create table...

当我们试图将数据从一个hive表加载到另一个hive表(land to raw)时，我们遇到了一个问题。 我发现的所有答案和问题都不适合我们的情况(例如改变番石榴的版本，如果它有不同的版本-但这在我们的情况下是可以的) ja...

我是这方面的新手，我试图从HDFS导出数据(CSV)到Postgresql数据库，但它给我以下错误。 21/07/01 12:49:45 INFO mapreduce.Job: Job job_1621428059819_0452 failed with state FAILED due to: Task failed task_...