-
NBA篮球运动员大数据分析决策支持系统
所属栏目：[大数据] 日期：2020-12-24 热度：125
package com.dt.spark.sparksql import org.apache.hadoop.conf.Configuration import org.apache.hadoop.fs.{FileSystem,Path} import org.apache.spark.SparkConf import org.apache.spark.sql.SparkSession /** ? * NBA篮球运动员大数据分析决策支持系[详细]
-
条条大道通罗马：大数据分析工具的十条学习路径
所属栏目：[大数据] 日期：2020-12-24 热度：112
来自：IT经理网（微信号：ctociocom） 链接：www.ctocio.com/hotnews/22900.html （点击尾部阅读原文前往） 虽然只有极少数人能够修炼成数据科学家这一21世纪最性感多金专业人士，但对于大多数非数据分析专业的IT人士来说，掌握对路的大数据工具同样意味着[详细]
-
某种序列-大数计算
所属栏目：[大数据] 日期：2020-12-24 热度：179
某种序列 http://acm.nyist.net/JudgeOnline/problem.php?pid=114 时间限制：3000?ms ?|? 内存限制：65535?KB 难度：4 输入 输入包含多行数据? 每行数据包含3个整数A0,A1,A2 (0 = A0,A2 = 100000000)? 数据以EOF结束 输出 对于输入的每一行输出A99的值 样[详细]
-
视音频数据处理入门：UDP-RTP协议解析
所属栏目：[大数据] 日期：2020-12-24 热度：124
http://blog.csdn.net/leixiaohua1020/article/details/50535230[详细]
-
数据挖掘中的模式发现（八）轨迹模式挖掘、空间模式挖掘
所属栏目：[大数据] 日期：2020-12-24 热度：166
副标题#e# 这是模式挖掘、数据挖掘的一部分应用。 空间模式挖掘(Mining Spatiotemporal Patterns) 两个空间实体之间存在若干拓扑关系，这些关系基于两个实体的位置： 分离 相交 包含 如图所示地表示位置信息，可以提取类似下面的规则： is_a(x,large_town)?[详细]
-
企业BI系统应用的切入点及五大策略
所属栏目：[大数据] 日期：2020-12-24 热度：178
从技术的角度来看，BI的技术正在走向成熟，处于一个发展的阶段，但它促使了BI的应用在成本方面开始逐步的降低，越来越多的企业在BI应用方面取得了成功。从实施的角度来出发，实施商业智能系统是一项复杂的系统工程，整个项目涉及企业管理，运作管理，信息[详细]
-
挖掘隐式启动Activity可能存在的坑
所属栏目：[大数据] 日期：2020-12-24 热度：68
今日科技快讯 很早之前，谷歌母公司Alphabet的董事长施密特就曾经表示，在中国市场，谷歌需要寻找到一个商业伙伴来开展自身的一些业务。而近日有消息传出，谷歌和网易正在进行合作磋商，很可能是成立合资公司，在国内推出针对中国市场的Google Play应用商[详细]
-
pyhive 连接 Hive 时错误
所属栏目：[大数据] 日期：2020-12-24 热度：61
一、User: xx is not allowed to impersonate xxx' 解决办法：修改 core-site.xml 文件，加入下面的内容后重启 hadoop。 property namehadoop.proxyuser.xx.hosts/name value*/value/propertyproperty namehadoop.proxyuser.xx.groups/name value*/value/p[详细]
-
分布式基础通信协议：paxos、totem 和 gossip（转载）
所属栏目：[大数据] 日期：2020-12-24 热度：154
背景： 在分布式中，最难解决的一个问题就是多个节点间数据同步问题。为了解决这样的问题，涌现出了各种奇思妙想。只有在解决了如何进行信息同步的基础之上才衍生出形形色色的应用。这里开始介绍几种分布式通信协议。 简单即有效——totem协议: totem协议[详细]
-
Hive 导入 parquet 格式数据
所属栏目：[大数据] 日期：2020-12-24 热度：141
Hive 导入 parquet 数据步骤如下： 查看 parquet 文件的格式 构造建表语句 倒入数据 一、查看 parquet 内容和结构 下载地址 社区工具 GitHub 地址 命令 查看结构： java -jar parquet-tools-1.6.0rc3-SNAPSHOT.jar schema -d activity.201711171437.0.parq[详细]
-
Presto 常用配置及操作
所属栏目：[大数据] 日期：2020-12-24 热度：116
一、介绍 Presto是一个开源的分布式SQL查询引擎，适用于交互式分析查询，数据量支持GB到PB字节。 Presto的设计和编写完全是为了解决像Facebook这样规模的商业数据仓库的交互式分析和处理速度的问题。 推荐阅读 Presto实现原理和美团的使用实践 二、安装 2.[详细]
-
大数据的技术生态概述（转载）
所属栏目：[大数据] 日期：2020-12-24 热度：65
如何用形象的比喻描述大数据的技术生态？Hadoop、Hive、Spark 之间是什么关系？ 大数据本身是个很宽泛的概念，Hadoop生态圈（或者泛生态圈）基本上都是为了处理超过单机尺度的数据处理而诞生的。你可以把它比作一个厨房所以需要的各种工具。锅碗瓢盆，各有[详细]
-
九种常见的数据分析模型
所属栏目：[大数据] 日期：2020-12-24 热度：113
1. 漏斗分析模型 漏斗分析是一套流程式数据分析，它能够科学反映用户行为状态以及从起点到终点各阶段用户转化率情况的重要分析模型。 运营人员可以通过观察不同属性的用户群体（如新注册用户与老客户、不同渠道来源的客户）各环节转化率，各流程步骤转化率[详细]
-
大数据领域常用技术栈
所属栏目：[大数据] 日期：2020-12-24 热度：117
提起大数据，不得不提由IBM提出的关于大数据的5V特点：Volume（大量）、Velocity（高速）、Variety（多样）、Value（低价值密度）、Veracity（真实性），而对于大数据领域的从业人员的日常工作也与这5V密切相关。大数据技术在过去的几十年中取得非常迅速的[详细]
-
Databricks说的Lakehouse是什么？
所属栏目：[大数据] 日期：2020-12-24 热度：116
? 在过去的几年里，Lakehouse作为一种新的数据管理范式，已独立出现在Databricks的许多用户和应用案例中。在这篇文章中，我们将阐述这种新范式以及它相对于之前方案的优势。 数据仓库在决策支持和商业智能应用方面有着悠久的历史。自20世纪80年代末问世以[详细]
-
a+b(大数加法)
所属栏目：[大数据] 日期：2020-12-24 热度：107
Problem Link：点击打开链接 题目描述 实现一个加法器，使其能够输出a+b的值。? 输入描述: 输入包括两个数a和b，其中a和b的位数不超过1000位。 输出描述: 可能有多组测试数据，对于每组数据，输出a+b的值。 输入例子: 2 610000000000000000000 10000000000[详细]
-
流式大数据处理的三种框架：Storm，Spark和Samza
所属栏目：[大数据] 日期：2020-12-24 热度：200
许多分布式计算系统都可以实时或接近实时地处理大数据流。本文将对三种Apache框架分别进行简单介绍，然后尝试快速、高度概述其异同。 Apache Storm 在Storm中，先要设计一个用于实时计算的图状结构，我们称之为拓扑（topology）。这个拓扑将会被提交给集群[详细]
-
AI眼中的历史：用人工智能挖掘旧报纸里的英国现代史
所属栏目：[大数据] 日期：2020-12-24 热度：79
副标题#e# 大数据文摘作品，转载要求见文末 本文作者|Martha Henriques 编译团队|Sophie，刘晓莉 ▼ 微信后台（不是评论区）回复关键词“历史”，获取PDF原文报告。 试问，哪位历史学家有时间阅读跨越一个多世纪英国历史的数千万份报纸？没人可以。所以，计[详细]
-
BZOJ3110: [Zjoi2013]K大数查询
所属栏目：[大数据] 日期：2020-12-24 热度：146
Description 有N个位置，M个操作。操作有两种，每次操作如果是1 a b c的形式表示在第a个位置到第b个位置，每个位置加入一个数c 如果是2 a b c形式，表示询问从第a个位置到第b个位置，第C大的数是多少。 Input 第一行N，M 接下来M行，每行形如1 a b c或2 a[详细]
-
亚马逊云BI产品QuickSight 深度解析
所属栏目：[大数据] 日期：2020-12-24 热度：121
副标题#e# 亚马逊的云BI服务QuickSight，旨在让他们的企业用户更加便捷、快速低成本的分析数据。在这款直接面向企业商业决策人员的工具发布之前，AWS上已经拥有了一整套大数据的解决方案——开发了数据从采集、存储到分析的全部工具，不仅有离线计算方案，[详细]
-
推荐 ：深入浅出之数据分析四步曲
所属栏目：[大数据] 日期：2020-12-24 热度：94
数据分析四步骤 确定 开始分析之前需要拿到足够的背景信息，更重要的是要和对方一起明确你们共同想要解决的问题/想要验证的假设，更更重要的是确定交付的内容、形式、期限以及可用资源。 未明确确定自己的问题或目标就进行数据分析就如同为定下目的地就上[详细]
-
bzoj3110[Zjoi2013]K大数查询
所属栏目：[大数据] 日期：2020-12-24 热度：176
题目链接:bzoj3110 题目大意： 有N个位置，M个操作。操作有两种，每次操作如果是1 a b c的形式表示在第a个位置到第b个位置，每个位置加入一个数c。 如果是2 a b c形式，表示询问从第a个位置到第b个位置，第c大的数是多少。[..谜一样的题意 应该是说把每个[详细]
-
万科房地产大数据分析平台
所属栏目：[大数据] 日期：2020-12-24 热度：80
副标题#e# 如何研究房地产市场？ 归根结底需要解决的问题无非是 地、房、人三大内容 然而，传统的研究方法却耗时耗力 看不全的土地——总会遗忘疏漏 想不尽的产品——依旧经验为先 读不透的客户——往往以偏概全 上海万科率先使用先进的手段颠覆传统的研究[详细]
-
[bigdata-032] 把json文件导入到mongodb
所属栏目：[大数据] 日期：2020-12-24 热度：58
用mongoimport命令 mongoimport -d db1 -c colle1 --type json --file cc.json --host 114.55.66.77 --upsert -u user1 -p passwd1 这个命令，如果同id的记录在，就更新，如果记录id不重复，就插入。因为upsert，所以会比较慢。 mongoimport -d db1 -c col[详细]
-
算法题 16：两个大数相乘（华为面试）
所属栏目：[大数据] 日期：2020-12-24 热度：135
题目：请使用代码计算 1234567891011121314151617181920?* 2019181716151413121110987654321 备注： 请留言， 描述一下解题思路。原题目要求写代码，这里不方便提交。[详细]
