apache-spark

我有以下数据帧: ID val1 val2 val3 ... 1 4 1 3 ... 1 5 4 8 ... 2 6 3 6 ... 2 9 2 2 ... 3 2 1 4 ... 3 1 1 4 ... 我需要按ID分组/聚...

我有一个spark scala工作，我张贴了早些时候，有长时间运行的任务在这里，我能够弄清楚，工作卡住了，因为连接到Redis。我看到通知，我的Redis集群是最大的CPU在Elasticache，我不确定正确的修复是什么。我正在使...

我在一个spark查询中有一组窗口函数，其中包括user_num上的分区。其中一个user_nums的行数比其他的多得多。这一行是在一个单独的任务中被计算的，这个任务有一个更高的shuffle read shuffle remote read并且最终花...

我是扁平化以下json加载到Spark数据帧使用代码部分提到的代码 { "id":"B07H3MVTSN", "mid":4, "inner":{ "type1":[{ "...

我有两个数据帧d1和d2有相同的列名。 d1.printSchema() root |-- child: string (nullable = true) |-- parent: string (nullable = true) d2.printSchema() root |-- child: string (nullable = true) ...

如何从py-spark中的数据帧列中选择不同的非空值。 ###好吧，我知道了…下面是我从列中选择所有唯一的UserID的命令，并排除空行: df.select('UserID').distinct().where(col("userid").isNotNull()) ...

我使用MongoDB Spark连接器(v。 2。4。3)在Dataframe中加载一个集合。 通过遵循Mongo的文档，下面的代码工作完美: SparkSession sparkSession = SparkSession.builder().appName("My App").master...

鉴于这种dataframe +--------+------+----------+--------+ |app_id |order |entry_flag|operator| +--------+------+----------+--------+ |AP-1 |1 |1 |S | |AP-1 |2 |0 ...

我有以下数据帧作为输入。 +--------+---------+ | child| parent| +--------+---------+ |street_1| city_1| |street_2| city_2| |street_3| city_1| |street_4| city_2| | city_2| state_...

我发现谷歌Cloud Composer是一个很有前途的托管Apache气流服务，但我不知道如何使用Cloud Composer来执行PySpark代码的管道。我可以安装其他Python包，比如Pandas和Cloud Composer。 任何指示都非常感谢。 ###云...

我有一个数据帧，它看起来像这样: +-----+-----+------+-----+ |col1 |col2 |col3 |col4 | +-----+-----+------+-----+ |1.1 |2.3 |10.0 |1 | |2.2 |1.5 |5.0 |1 | |3.3 |1.3 |1.5 |1 ...

我一直在做一个项目，导入丹麦250万ATM交易数据集，以获得一些可视化。 数据托管在大学提供的mysql服务器上。目标是使用Sqoop导入数据，然后使用pyspark对其应用一些转换。 在这里链接到数据集:https://www。kag...

我在我的spark DF上使用全局排序，当我启用AQE和post-shuffle后合并我的分区后排序操作变得比以前更糟糕的分布。 "spark.sql.adaptive.enabled" -> "true", "spark.sql.ada...

我写了一个Scala程序，在控制台创建了一个Kafka主题显示数据。现在，我试图修改现有的代码，以便它可以下沉到一个MySQ表。 数据库名称:图书 表名称:作者 你能帮我修改下面的代码，这样Kafka topic_json的数据就...

所有 我得到一个错误，当运行一个GroupBy在Pyspark，即使占领列存在。谁能给我指一下正确的方向？ 谢谢 grajee ###我怀疑您的列名有前导空格。如果是这样，那么你可以在分组之前使用这个 from functools impo...