azure event hubs spark:使用Apache Spark和Azure事件中心启用连续数据处理源码

trend1604 9 0 ZIP 2021-02-26 18:02:28

azure-event-hubs-spark:使用Apache Spark和Azure事件中心启用连续数据处理

文件列表

azure-event-hubs-spark-master.zip (预估有个88文件)

azure-event-hubs-spark-master

project

build.properties 18B

plugins.sbt 84B

FAQ.md 5KB

.DS_Store 6KB

.github

ISSUE_TEMPLATE.md 367B

PULL_REQUEST_TEMPLATE.md 752B

CONTRIBUTING.md 3KB

event-hubs_spark.png 11KB

core

.DS_Store 6KB

src

test

scala

org

apache

spark

sql

eventhubs

EventHubsSinkSuite.scala 15KB

JsonUtilsSuite.scala 2KB

EventHubsSourceSuite.scala 41KB

EventHubsSourceOffsetSuite.scala 4KB

EventHubsRelationSuite.scala 6KB

eventhubs

utils

ThrottlingStatusPluginMock.scala 2KB

AadAuthenticationCallbackMock.scala 345B

EventHubsTestUtilsSuite.scala 9KB

RetryUtilsSuite.scala 4KB

MetricPluginMock.scala 2KB

client

EventHubsClientSuite.scala 2KB

EventHubsConfSuite.scala 14KB

ConnectionStringBuilderSuite.scala 4KB

EventPositionSuite.scala 2KB

rdd

EventHubsRDDSuite.scala 4KB

OffsetRangeSuite.scala 2KB

streaming

eventhubs

EventHubsDirectDStreamSuite.scala 13KB

resources

log4j.properties 1KB

eventhubs-source-offset-version-2.1.0.txt 47B

main

scala

org

apache

spark

sql

eventhubs

EventHubsForeachWriter.scala 4KB

EventHubsWriter.scala 3KB

EventHubsSink.scala 2KB

JsonUtils.scala 3KB

EventHubsSource.scala 19KB

EventHubsWriteTask.scala 7KB

EventHubsRelation.scala 3KB

EventHubsSourceOffset.scala 2KB

EventHubsSourceProvider.scala 10KB

eventhubs

NameAndPartition.scala 2KB

utils

SimulatedPartitionStatusTracker.scala 2KB

SimulatedClient.scala 5KB

RetryUtils.scala 7KB

ThrottlingStatusPlugin.scala 2KB

SimulatedCachedReceiver.scala 2KB

AadAuthenticationCallback.scala 246B

SimpleLogMetricPlugin.scala 2KB

SimulatedEventHubs.scala 8KB

EventHubsTestUtils.scala 8KB

MetricPlugin.scala 1KB

SimpleThrottlingStatusPlugin.scala 2KB

ConnectionStringBuilder.scala 16KB

EventHubsUtils.scala 8KB

client

Client.scala 4KB

ClientConnectionPool.scala 7KB

EventHubsClient.scala 13KB

CachedEventHubsReceiver.scala 15KB

EventHubsConf.scala 26KB

PartitionsStatusTracker.scala 19KB

rdd

EventHubsRDDPartition.scala 2KB

EventHubsRDD.scala 4KB

OffsetRange.scala 4KB

EventPosition.scala 4KB

PartitionPerformanceReceiver.scala 3KB

TaskContextSlim.scala 1KB

PartitionContext.scala 1KB

package.scala 4KB

streaming

eventhubs

EventHubsDirectDStream.scala 8KB

resources

META-INF

services

org.apache.spark.sql.sources.DataSourceRegister 54B

eventhubs-source-offset-version-2.1.0.txt 47B

pom.xml 2KB

run_tests.sh 28B

examples

files

two-actions-without-persist.png 62KB

two-actions-using-persist.png 58KB

two-writes-using-same-input-stream.png 60KB

multiple-readers-example.md 10KB

.travis.yml 87B

LICENSE 11KB

README.md 7KB

pom.xml 11KB

docs

structured-streaming-eventhubs-integration.md 18KB

PySpark

structured-streaming-pyspark.md 17KB

use-aad-authentication-to-connect-eventhubs.md 4KB

spark-streaming-eventhubs-integration.md 15KB

receive-events-sent-using-kafka-protocol.md 4KB

slow-partition-adjustment-feature.md 10KB

README.md 1KB

misc

install_spark_on_windows.md 3KB

.gitignore 127B

.scalafmt.conf 388B

用户评论

暂无评论

docker.spark_python具有Apache Spark和Python的Docker映像源码

docker.spark_python 具有Apache Spark和Python的Docker映像

12 2021-02-17
azure devtestlab Azure DevTestLab工件脚本和示例源码

Azure实验室服务社区这是一个公共的,社区贡献的存储库,其中包含: 适用于Azure DevTest Labs的可以通过Azure门户或脚本将这些部署到Azure DevTest Labs中的虚拟

23 2021-04-20
Azure Azure脚本代码片段和ARM模板源码

蔚蓝日常使用的Azure脚本,摘要和ARM模板。 #TODO:创建方案,包括特定任务的整个过程 #TODO:添加Azure Site Recovery脚本

11 2021-02-18
example azure function Probot和Azure Functions示例源码

Probot和Azure函数示例此存储库是如何将Probot应用程序的“ Hello,World”部署到的示例。本地设置 npm install npm start 打开并按照说明注册GitHub

23 2021-04-16
springboot_jwt_azure_dio_avanade集成o Azure Spring Cloud com o Azure安全中心源码

Spring Boot com JWT和Azure 与JWT和Azure进行项目,以创建将Azure Spring Cloud与Azure Security Center集成在一起的安全云环境。 :p

19 2021-04-20
基于HBase和Spark构建企业级数据处理平台.pdf

基于HBase和Spark构建企业级数据处理平台.pdf

24 2020-01-05
Spark大型集群上的快速和通用数据处理架构pdf

基于大型集群的快速通用数据处理架构,为了实现上述的各种特性,我们通过简单的扩展 MapReduce,为其增加了数据共享原语,也就是所谓的弹性分布式数据集(RDDs)。我们发现,这样的扩展足以能够有效地

15 2020-08-14
spark annoy在Apache Spark上构建Annoy索引源码

Spark-Annoy(WIP) 在Apache Spark上构建 Index。然后使用Annoy查询邻居。注意我在5分钟内使用100个节点构建了117M个64维向量的索引。设置为; // v

24 2021-02-19
大数据Apache Spark实用详解

大数据--ApacheSpark实用详解

25 2019-08-01
大数据Apache Spark编程详解

大数据--ApacheSpark编程详解

36 2019-08-01

azure event hubs spark:使用Apache Spark和Azure事件中心启用连续数据处理 源码

文件列表

用户评论

推荐下载

azure event hubs spark:使用Apache Spark和Azure事件中心启用连续数据处理源码