1. 做数据分析要掌握哪些软件和知识点
上海献峰网络认为数据分析也好,统计分析也好,数据挖掘也好、商业智能也好都需要在学习的时候掌握各种分析手段和技能,特别是要掌握分析软件工具!学习数据分析,一般是先学软件开始,再去应用,再学会理论和原理!没有软件的方法就不去学了,因为学了也不能做,除非你自己会编程序。
主意X和Y轴看:
第一维度:数据存储层——>数据报表层——>数据分析层——>数据展现层
第二维度:用户级——>部门级——>企业级——BI级
首先.存储层:
1.Access2003、Access07等:最基本的个人数据库;
2.MySQL数据库;
3.SQL Server 2005或更高版本;
4. DB2,Oracle;
5. BI级(实际上这个不是数据库,而是建立在前面数据库基础上的,这个主要是数据
库的企业应用级了,一般这个时候的数据库都叫数据仓库了,Data Warehouse
,建立在DW级上的数据存储基本上都是商业智能平台,或许整合了各种数据分析,报表、分析和展现!)
第二:报表层
推荐石头最喜欢的两款。
1.Crystal Report水晶报表Bill报表
2. Tableau软件
第三:数据分析层
1.Excel软件(有能力把Excel玩成统计工具不如专门学会统计软件);
2.SPSS软件:从重视医学、化学等开始越来越重视商业分析,现在已经成为了预测
分析软件。
3.Clementine软件。
2. 做一名数据分析师要具备什么能力
编觉得最重要的一点就是,我们得清楚企业对数据分析师的基础技能需求是什么。这样我们才能有的放矢。我大抵总结如下:
(1)SQL数据库的基本操作,会基本的数据管理
(2)会用Excel/SQL做基本的数据分析和展示
(3)会用脚本语言进行数据分析,Python or R
(4)有获取外部数据的能力,如爬虫
(5)会基本的数据可视化技能,能撰写数据报告
(6)熟悉常用的数据挖掘算法:回归分析、决策树、随机森林、支持向量机等
之后,怎么安排自己的业余时间就看个人了。总体来说,先学基础,再学理论,最后是工具。基本上,每一门语言的学习都是要按照这个顺序来的。
1、学习数据分析基础知识,包括概率论、数理统计。基础这种东西还是要掌握好的啊,基础都还没扎实,知识大厦是很容易倒的哈。
2、你的目标行业的相关理论知识。比如金融类的,要学习证券、银行、财务等各种知识,不然到了公司就一脸懵逼啦。
3、学习数据分析工具,软件结合案列的实际应用,关于数据分析主流软件有(从上手度从易到难):Excel,SPSS,stata,R,Python,SAS等。
4、学会怎样操作这些软件,然后是利用软件从数据的清洗开始一步步进行处理,分析,最后输出结果,检验及解读数据。
如果是实在不懂,还可以去网上找些视频课程看。切记,第一步是必不可少的,是数据分析的基础。
3. 数据分析过程中有哪些实用工具
一般做大数据分析,首先会使用到大数据数据库,比如MongoDB、GBase等数据库。其次会用数据仓库工具,对数据进行清洗、转换、处理,得到有价值的数据。然后使用数据建模工具进行建模。最后使用大数据工具,进行可视化分析。
根据以上的描述,我们按过程对用到的工具进行讨论。
1、 大数据工具:数据存储和管理工具
大数据完全始于数据存储,也就是说始于大数据框架Hadoop。它是Apache基金会运行的一种开源软件框架,用于在大众化计算机集群上分布式存储非常大的数据集。由于大数据需要大量的信息,存储至关重要。但除了存储外,还需要某种方式将所有这些数据汇集成某种格式化/治理结构,从而获得洞察力。
2、 大数据工具:数据清理工具
使用数据仓库工具-Hive。Hive是基于Hadoop分布式文件系统的,它的数据存储在HDFS中。Hive本身是没有专门的数据存储格式,也没有为数据建立索引,只需要在创建表的时候告诉Hive数据中的列分隔符和行分隔符,Hive就可以解析数据。
3、 大数据工具:数据建模工具
SPSS:主要用于数据建模工作,功能稳定且强大,能够满足中小企业在业务模型建立过程中的需求。
4、 大数据工具:数据可视化分析工具
亿信华辰一站式数据分析平台ABI,对上述所说的工具,在该平台上都有。亿信ABI提供ETL数据处理、数据建模以及一系列的数据分析服务,提供的数据分析工具丰富:除了中国式复杂报表、dashboard、大屏报表外,ABI还支持自助式分析,包括拖拽式多维分析、看板和看板集,业务用户通过简单拖拽即可随心所欲的进行探索式自助分析。同时,类word即席报告、幻灯片报告,让汇报展示更加出彩。
4. 信息发达大数据时代,数据能为慈善事业带来些什么
数据对基金会及基金会行业的作用,正在开始,处于启蒙期。在基金会加入“大数据”行动的建议之下,存在着一个变革理论。就像其他所有有关慈善的变革理论一样,它的目标就是最大化慈善工作的影响。我们不鼓励以数据的名义,甚至是以提高基金会工作效率的名义去收集和使用数据,虽然这些目标是极好的。实质上,提高慈善数据的最终受益者是基金会试图通过它们的慈善行为帮助到的那些人。
5. 常见的大数据分析工具有哪些
大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助,而大数据分析是去分析海量的数据,所以就不得不借助一些工具去分析大数据,。一般来说,数据分析工作中都是有很多层次的,这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据,数据的存储是一个非常重要的事情,如果懂得数据库技术,并且能够操作好数据库技术,这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库,这个对于部门级或者互联网的数据库应用是必要的,这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本,对中小企业,一些大型企业也可以采用SQL Server数据库,其实这个时候本身除了数据存储,也包括了数据报表和数据分析了,甚至数据挖掘工具都在其中了。
3、DB2,Oracle数据库都是大型数据库了,主要是企业级,特别是大型企业或者对数据海量存储需求的就是必须的了,一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说,当企业存储了数据后,首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表,Bill报表,这都是全球最流行的报表工具,非常规范的报表设计思想,早期商业智能其实大部分人的理解就是报表系统,不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件,这个软件是近年来非常棒的一个软件,当然它已经不是单纯的数据报表软件了,而是更为可视化的数据分析软件,因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具,当然我们最常用的就是Excel,我经常用的就是统计分析和数据挖掘工具;
1、Excel软件,首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能,Excel功能非常强大,甚至可以完成所有的统计分析工作!但是我也常说,有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件:当前版本是18,名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析,到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化,从重视医学、化学等开始越来越重视商业分析,现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件:大部分人都是用PPT写报告。
2、Visio、SmartDraw软件:这些都是非常好用的流程图、营销图表、地图等,而且从这里可以得到很多零件;
3、Swiff Chart软件:制作图表的软件,生成的是Flash
6. 基金会如何盈利
一般而言,基金公司是通过5个方面来保障为基金持有人获取最大收益的。
一是判断宏观市场,调整基金配置。当股市处于牛市时,基金通常都会把仓位调到最高点。也就是将公司所有能够持有股票的基金仓位都加到最高点,以保证获取最大收益。相反,当股市处于熊市时,基金会把仓位适当调低,并加大债券等其他金融产品的投资,以保证获取稳定的收益。
二是制定有效增长的长期策略,并要找准优势企业。所谓优势企业,就是不能只看资金注入,而且还要有业绩的持续增长,这样才能保证有效的基金的长期盈利。
三是要适时选股。在选择股票上很多公司有不同的做法,这与基金经理的知识结构和历史行为相关。针对不同的企业,有的基金经理喜欢早早地买入,有的则采取循环买卖的操作方式。总之,这是一个非常复杂的过程,需要经验丰富的基金经理对数据分析后作出决策。
四是对上市公司的专业化研究。好的基金公司对企业的了解不仅仅停留在表层,而是深入到上市公司的方方面面,例如考察生产车间、生产订单、了解销售状况,掌握未来几年人员培养计划、未来的开店计划等等,基金公司只有精确和深入的研究,才能有持续稳定的获利。
五是基金经理要有牛市与熊市的经验。只有牛市与熊市都经历过的基金经理,才能更好地控制风险,稳中求胜。
7. 数据分析师日常工作是什么
数据分析有什么用?
从工作流程的角度看,至少有5类分析经常做:
工作开始前策划型分析:要分析一下哪些事情值得的做
工作开始前预测型分析:预测一下目前走势,预计效果
工作中的监控型分析:监控指标走势,发现问题
工作中的原因型分析:分析问题原因,找到对策
工作后的复盘型分析:积累经验,总结教训
8. 大数据分析一般用什么工具分析
大数据分析的前瞻性使得很多公司以及企业都开始使用大数据分析对公司的决策做出帮助,而大数据分析是去分析海量的数据,所以就不得不借助一些工具去分析大数据,。一般来说,数据分析工作中都是有很多层次的,这些层次分别是数据存储层、数据报表层、数据分析层、数据展现层。对于不同的层次是有不同的工具进行工作的。下面小编就对大数据分析工具给大家好好介绍一下。
首先我们从数据存储来讲数据分析的工具。我们在分析数据的时候首先需要存储数据,数据的存储是一个非常重要的事情,如果懂得数据库技术,并且能够操作好数据库技术,这就能够提高数据分析的效率。而数据存储的工具主要是以下的工具。
1、MySQL数据库,这个对于部门级或者互联网的数据库应用是必要的,这个时候关键掌握数据库的库结构和SQL语言的数据查询能力。
2、SQL Server的最新版本,对中小企业,一些大型企业也可以采用SQL Server数据库,其实这个时候本身除了数据存储,也包括了数据报表和数据分析了,甚至数据挖掘工具都在其中了。
3、DB2,Oracle数据库都是大型数据库了,主要是企业级,特别是大型企业或者对数据海量存储需求的就是必须的了,一般大型数据库公司都提供非常好的数据整合应用平台;
接着说数据报表层。一般来说,当企业存储了数据后,首先要解决报表的问题。解决报表的问题才能够正确的分析好数据库。关于数据报表所用到的数据分析工具就是以下的工具。
1、Crystal Report水晶报表,Bill报表,这都是全球最流行的报表工具,非常规范的报表设计思想,早期商业智能其实大部分人的理解就是报表系统,不借助IT技术人员就可以获取企业各种信息——报表。
2、Tableau软件,这个软件是近年来非常棒的一个软件,当然它已经不是单纯的数据报表软件了,而是更为可视化的数据分析软件,因为很多人经常用它来从数据库中进行报表和可视化分析。
第三说的是数据分析层。这个层其实有很多分析工具,当然我们最常用的就是Excel,我经常用的就是统计分析和数据挖掘工具;
1、Excel软件,首先版本越高越好用这是肯定的;当然对Excel来讲很多人只是掌握了5%Excel功能,Excel功能非常强大,甚至可以完成所有的统计分析工作!但是我也常说,有能力把Excel玩成统计工具不如专门学会统计软件;
2、SPSS软件:当前版本是18,名字也改成了PASW Statistics;我从3.0开始Dos环境下编程分析,到现在版本的变迁也可以看出SPSS社会科学统计软件包的变化,从重视医学、化学等开始越来越重视商业分析,现在已经成为了预测分析软件。
最后说表现层的软件。一般来说表现层的软件都是很实用的工具。表现层的软件就是下面提到的内容。
1、PowerPoint软件:大部分人都是用PPT写报告。
2、Visio、SmartDraw软件:这些都是非常好用的流程图、营销图表、地图等,而且从这里可以得到很多零件;
3、Swiff Chart软件:制作图表的软件,生成的是Flash
9. 基金会不会跌到本金都没了
放心,基金再怎么跌,跌没的可能性,也几乎没有。
因为基金一般都是投资几十只股票,你要想基金跌没的话,除非这几十只股票破产。你要说,基金一直不踩雷,可能很多人不相信(我也不信),但同时踩雷几十只股票,这几乎就是不可能的了。
所以不要担心基金会把自己的本金给跌没了。
但是为什么东吴转债B基金(150165)的累计净值,不仅跌没了,还跌成负数了?
依据刚才的分析,基金确实不可能跌没,跌成负数就更不可能了。所以出现这种情况,只有一种解释,那就是基金加杠杆了。
目前涉及杠杆的基金主要有三种:
1.主动型的债券基金
根据《公开募集证券投资基金运作管理办法》,开放式债券基金的杠杆是可以达到140%的,定开债基的杠杆更高,可以达到200%。
所以这里就举一个极端点的例子,
假设一只定开债基的净资产为10亿,基金经理选择把自己手中持有的10亿债券抵押出去,然后再把抵押获得的这笔资金进行债券投资,最后这只基金的总资产变成了20亿。
当这只定开债基的跌幅达到50%以上时,那么该基金的净值,就有可能为负数了。
但是三思君想说的是,主动管理的债券基金的跌幅要达到50%以上,是很难的。因为债券基金投资的债券也是几十只,你让基金持有这几十只债券同时踩雷,这几乎就是不可能的事。
同时从历史数据看,发生违约的债券是不多的,即使有违约也不太可能导致全部亏损。
所以主动型的债券基金,即使一直跌,跌没的可能性也几乎没有。
2.投资股指期货、商品期货的基金
投资股指期货、商品期货的基金,也是不可能出现负数的。
因为这类基金对投资的股指期货、商品期货都有严格的仓位要求,且当投资的股指期货、商品期货亏损到一定程度同时保证金不足时,就会触发强行平仓。
所以也不可能出现跌没了的情况。
比如汇添富绝对收益定开混合基金(000762)。依据招募说明书显示,不管是在基金开放期还是封闭期,其持有的期货合约价值和有价证券市值之和都不能超过100%。
3.分级基金
分级基金是属于比较复杂的基金品种。所以三思君在这里,就简单点来说,就是B份额向A份额借钱投资,A份额定期收取B份额给的利息。
通过这个解释就不难发现,对于B份额的持有者来讲,只要定期把A份额的利息支付完以后,盈亏自负。
所以像上文提到东吴转债B基金(150165),显然就是把自己的钱给亏完了,要不然B份额的累计净值怎么可能是负数。
但是依据最新的监管,现在投资场内的分级基金有30万的门槛限制,所以普通投资者应该是接触不到这个品种了。
好了,结论就是,基金再怎么跌,也是不可能跌没的。
- END -
10. 数据分析一般用什么工具啊
六个用于大数据分析的最好工具
一、Hadoop
Hadoop 是一个能够对大量数据进行分布式处理的软件框架。但是 Hadoop 是以一种可靠、高效、可伸缩的方式进行处理的。Hadoop 是可靠的,因为它假设计算元素和存储会失败,因此它维护多个工作数据副本,确保能够针对失败的节点重新分布处理。Hadoop 是高效的,因为它以并行的方式工作,通过并行处理加快处理速度。Hadoop 还是可伸缩的,能够处理 PB 级数据。此外,Hadoop 依赖于社区服务器,因此它的成本比较低,任何人都可以使用。
二、HPCC
HPCC,High Performance Computing and Communications(高性能计算与通信)的缩写。1993年,由美国科学、工程、技术联邦协调理事会向国会提交了“重大挑战项目:高性能计算与 通信”的报告,也就是被称为HPCC计划的报告,即美国总统科学战略项目,其目的是通过加强研究与开发解决一批重要的科学与技术挑战问题。HPCC是美国 实施信息高速公路而上实施的计划,该计划的实施将耗资百亿美元,其主要目标要达到:开发可扩展的计算系统及相关软件,以支持太位级网络传输性能,开发千兆 比特网络技术,扩展研究和教育机构及网络连接能力。
三、Storm
Storm是自由的开源软件,一个分布式的、容错的实时计算系统。Storm可以非常可靠的处理庞大的数据流,用于处理Hadoop的批量数据。Storm很简单,支持许多种编程语言,使用起来非常有趣。Storm由Twitter开源而来,其它知名的应用企业包括Groupon、淘宝、支付宝、阿里巴巴、乐元素、Admaster等等。
Storm有许多应用领域:实时分析、在线机器学习、不停顿的计算、分布式RPC(远过程调用协议,一种通过网络从远程计算机程序上请求服务)、 ETL(Extraction-Transformation-Loading的缩写,即数据抽取、转换和加载)等等。Storm的处理速度惊人:经测 试,每个节点每秒钟可以处理100万个数据元组。Storm是可扩展、容错,很容易设置和操作。
四、Apache Drill
为了帮助企业用户寻找更为有效、加快Hadoop数据查询的方法,Apache软件基金会近日发起了一项名为“Drill”的开源项目。Apache Drill 实现了 Google’s Dremel.
据Hadoop厂商MapR Technologies公司产品经理Tomer Shiran介绍,“Drill”已经作为Apache孵化器项目来运作,将面向全球软件工程师持续推广。
五、RapidMiner
RapidMiner是世界领先的数据挖掘解决方案,在一个非常大的程度上有着先进技术。它数据挖掘任务涉及范围广泛,包括各种数据艺术,能简化数据挖掘过程的设计和评价。
六、Pentaho BI
Pentaho BI 平台不同于传统的BI 产品,它是一个以流程为中心的,面向解决方案(Solution)的框架。其目的在于将一系列企业级BI产品、开源软件、API等等组件集成起来,方便商务智能应用的开发。它的出现,使得一系列的面向商务智能的独立产品如Jfree、Quartz等等,能够集成在一起,构成一项项复杂的、完整的商务智能解决方案。