Apache-Devlive 开源社区

Devlive 开源社区博主等级

行动起来，活在当下

累计撰写 123 篇文章
累计创建 32 个标签
累计收到 0 条评论

目录CONTENT

以下是 Apache 相关的文章

2024-02-28
使用Maven配置Spring 这篇文章说明了如何通过Maven配置Spring依赖项。最新的Spring版本可以在Maven Central上找到。 Maven中的Spring基本依赖关系 Spring的设计是高度模块化的 - 使用Spring的一部分不应该而且不需要另一部分。例如，基本的Spring Context可以没有Pe
- 2024-02-28
- 21
- 0
- 0
- Spring
- Apache Maven
2024-02-28
Hadoop小文件解决方案-基于文件整合的解决方案通过研究一些不太常用的替代方案来解决MapReduce性能问题以及选择解决方案时要考虑的因素。解决MapReduce性能问题以下解决方案来缓解MapReduce性能问题：更改摄取过程/间隔批处理文件合并序列文件 HBase S3DistCp（如果使用Amazon EMR）使用Combin
- 2024-02-28
- 14
- 0
- 0
- Apache Hadoop
2024-02-28
Hadoop小文件解决方案-基于NameNode内存和MapReduce性能解决方案在第一篇文章中，我讨论了什么构成了一个小文件，以及为什么Hadoop存在小文件问题。我将一个小文件定义为小于Hadoop块大小75％的任何文件，并解释说由于NameNode内存使用和MapReduce性能，Hadoop更喜欢较少的较大文件。在这篇文章中，当小文件真正不可避免时，我将讨论这些挑战的解决
- 2024-02-28
- 9
- 0
- 0
- Apache Hadoop
2024-02-27
Hadoop小文件解决方案-Hadoop小文件的前因后果 Hadoop不适用于大量小文件，而是需要更少的大文件。这可能是您之前听过的声明。但是，为什么Hadoop会出现大量小文件的问题？而且，“小”究竟是什么意思呢？在本系列的第一部分中，我将回答这些问题。后续部分将讨论解决或解决小文件问题。什么是小文件？小文件可以定义为任何明显小于Hadoop块大小的
- 2024-02-27
- 16
- 0
- 0
- Apache Hadoop
2024-02-01
Hive On Tez自定义Job Name 今天在使用Hive On Tez的时候发现一个问题，那就是我们无法设置Tez运行在Yarn上面的Job Name。按照设置MR正常的步骤来设置Job Name发现也是无效的。这让我很迷惑，于是想了一下是不是因为TezSession的时候已经写死了导致的，然通过将Hive的源码下载下来（我用的是Hi
- 2024-02-01
- 40
- 0
- 0
- Apache Hive
- Apache Tez
2024-02-01
Spring Kafka单元测试修改 pom.xml 加入 kafka 依赖 <dependency> <groupId>org.springframework.kafka</groupId> <artifactId>spring-kafka</artifactId> <version>2.3.2.RELE
- 2024-02-01
- 75
- 0
- 0
- Apache Kafka
2024-01-29
构建一个优秀的SQL及优化方案必要的查询字段由于存储的特性，选择需要的字段可加快字段的读取、减少数据量。避免采用*读取所有字段。一般再CTE模式中这种风险不是很明显为什么要避免使用*？它带来的风险？它会增加查询分析SQL的成本(在数据库需要解析更多的对象、字段、权限、属性等相关内容，在复杂SQL语句，硬解析较多的情况下，
- 2024-01-29
- 8
- 0
- 0
- Apache Hive
- ClickHouse
- Trino
- Presto
2024-01-29
Ambari 实战-6:构建HDP私有源我们本篇文章主要讲述如何去同步远程服务器中的HDP数据源到本地，并将其作为局域网yum安装源。基本环境信息由于是通过HDP数据源安装HDP组件，我们只需要在一台机器上运行即可，我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其分开部署。主
- 2024-01-29
- 7
- 0
- 0
- Apache Ambari
2024-01-29
Ambari 实战-5:构建Ambari私有源我们本篇文章主要讲述如何去同步远程服务器中的Ambari数据源到本地，并将其作为局域网yum安装源。基本环境信息由于是通过Ambari数据源安装ambari，我们只需要在一台机器上运行即可，我们这里部署到了和ambari-common(该节点压力较小)节点在一起。不过在实际的线上环境我们推荐将其
- 2024-01-29
- 9
- 0
- 0
- Apache Ambari
2024-01-28
Ambari 实战-4:MySQL服务安装配置我们使用MySQL作为保存Ambari的元数据的底层存储。当然Ambari还支持其他的底层存储，这里我们就不做一一的解释和演示。由于我们使用的是CentOS7系统，默认系统中并不安装MySQL服务，所以我们需要单独去安装该服务。并在CentOS7中也不再支持yum install mysql 基本
- 2024-01-28
- 7
- 0
- 0
- Apache Ambari

1
2