1. 做數據分析要掌握哪些軟體和知識點
上海獻峰網路認為數據分析也好,統計分析也好,數據挖掘也好、商業智能也好都需要在學習的時候掌握各種分析手段和技能,特別是要掌握分析軟體工具!學習數據分析,一般是先學軟體開始,再去應用,再學會理論和原理!沒有軟體的方法就不去學了,因為學了也不能做,除非你自己會編程序。
主意X和Y軸看:
第一維度:數據存儲層——>數據報表層——>數據分析層——>數據展現層
第二維度:用戶級——>部門級——>企業級——BI級
首先.存儲層:
1.Access2003、Access07等:最基本的個人資料庫;
2.MySQL資料庫;
3.SQL Server 2005或更高版本;
4. DB2,Oracle;
5. BI級(實際上這個不是資料庫,而是建立在前面資料庫基礎上的,這個主要是數據
庫的企業應用級了,一般這個時候的資料庫都叫數據倉庫了,Data Warehouse
,建立在DW級上的數據存儲基本上都是商業智能平台,或許整合了各種數據分析,報表、分析和展現!)
第二:報表層
推薦石頭最喜歡的兩款。
1.Crystal Report水晶報表Bill報表
2. Tableau軟體
第三:數據分析層
1.Excel軟體(有能力把Excel玩成統計工具不如專門學會統計軟體);
2.SPSS軟體:從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測
分析軟體。
3.Clementine軟體。
2. 做一名數據分析師要具備什麼能力
編覺得最重要的一點就是,我們得清楚企業對數據分析師的基礎技能需求是什麼。這樣我們才能有的放矢。我大抵總結如下:
(1)SQL資料庫的基本操作,會基本的數據管理
(2)會用Excel/SQL做基本的數據分析和展示
(3)會用腳本語言進行數據分析,Python or R
(4)有獲取外部數據的能力,如爬蟲
(5)會基本的數據可視化技能,能撰寫數據報告
(6)熟悉常用的數據挖掘演算法:回歸分析、決策樹、隨機森林、支持向量機等
之後,怎麼安排自己的業余時間就看個人了。總體來說,先學基礎,再學理論,最後是工具。基本上,每一門語言的學習都是要按照這個順序來的。
1、學習數據分析基礎知識,包括概率論、數理統計。基礎這種東西還是要掌握好的啊,基礎都還沒扎實,知識大廈是很容易倒的哈。
2、你的目標行業的相關理論知識。比如金融類的,要學習證券、銀行、財務等各種知識,不然到了公司就一臉懵逼啦。
3、學習數據分析工具,軟體結合案列的實際應用,關於數據分析主流軟體有(從上手度從易到難):Excel,SPSS,stata,R,Python,SAS等。
4、學會怎樣操作這些軟體,然後是利用軟體從數據的清洗開始一步步進行處理,分析,最後輸出結果,檢驗及解讀數據。
如果是實在不懂,還可以去網上找些視頻課程看。切記,第一步是必不可少的,是數據分析的基礎。
3. 數據分析過程中有哪些實用工具
一般做大數據分析,首先會使用到大數據資料庫,比如MongoDB、GBase等資料庫。其次會用數據倉庫工具,對數據進行清洗、轉換、處理,得到有價值的數據。然後使用數據建模工具進行建模。最後使用大數據工具,進行可視化分析。
根據以上的描述,我們按過程對用到的工具進行討論。
1、 大數據工具:數據存儲和管理工具
大數據完全始於數據存儲,也就是說始於大數據框架Hadoop。它是Apache基金會運行的一種開源軟體框架,用於在大眾化計算機集群上分布式存儲非常大的數據集。由於大數據需要大量的信息,存儲至關重要。但除了存儲外,還需要某種方式將所有這些數據匯集成某種格式化/治理結構,從而獲得洞察力。
2、 大數據工具:數據清理工具
使用數據倉庫工具-Hive。Hive是基於Hadoop分布式文件系統的,它的數據存儲在HDFS中。Hive本身是沒有專門的數據存儲格式,也沒有為數據建立索引,只需要在創建表的時候告訴Hive數據中的列分隔符和行分隔符,Hive就可以解析數據。
3、 大數據工具:數據建模工具
SPSS:主要用於數據建模工作,功能穩定且強大,能夠滿足中小企業在業務模型建立過程中的需求。
4、 大數據工具:數據可視化分析工具
億信華辰一站式數據分析平台ABI,對上述所說的工具,在該平台上都有。億信ABI提供ETL數據處理、數據建模以及一系列的數據分析服務,提供的數據分析工具豐富:除了中國式復雜報表、dashboard、大屏報表外,ABI還支持自助式分析,包括拖拽式多維分析、看板和看板集,業務用戶通過簡單拖拽即可隨心所欲的進行探索式自助分析。同時,類word即席報告、幻燈片報告,讓匯報展示更加出彩。
4. 信息發達大數據時代,數據能為慈善事業帶來些什麼
數據對基金會及基金會行業的作用,正在開始,處於啟蒙期。在基金會加入「大數據」行動的建議之下,存在著一個變革理論。就像其他所有有關慈善的變革理論一樣,它的目標就是最大化慈善工作的影響。我們不鼓勵以數據的名義,甚至是以提高基金會工作效率的名義去收集和使用數據,雖然這些目標是極好的。實質上,提高慈善數據的最終受益者是基金會試圖通過它們的慈善行為幫助到的那些人。
5. 常見的大數據分析工具有哪些
大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助,而大數據分析是去分析海量的數據,所以就不得不藉助一些工具去分析大數據,。一般來說,數據分析工作中都是有很多層次的,這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據,數據的存儲是一個非常重要的事情,如果懂得資料庫技術,並且能夠操作好資料庫技術,這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫,這個對於部門級或者互聯網的資料庫應用是必要的,這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本,對中小企業,一些大型企業也可以採用SQL Server資料庫,其實這個時候本身除了數據存儲,也包括了數據報表和數據分析了,甚至數據挖掘工具都在其中了。
3、DB2,Oracle資料庫都是大型資料庫了,主要是企業級,特別是大型企業或者對數據海量存儲需求的就是必須的了,一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說,當企業存儲了數據後,首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表,Bill報表,這都是全球最流行的報表工具,非常規范的報表設計思想,早期商業智能其實大部分人的理解就是報表系統,不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體,這個軟體是近年來非常棒的一個軟體,當然它已經不是單純的數據報表軟體了,而是更為可視化的數據分析軟體,因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具,當然我們最常用的就是Excel,我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體,首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能,Excel功能非常強大,甚至可以完成所有的統計分析工作!但是我也常說,有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體:當前版本是18,名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析,到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化,從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體:大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體:這些都是非常好用的流程圖、營銷圖表、地圖等,而且從這里可以得到很多零件;
3、Swiff Chart軟體:製作圖表的軟體,生成的是Flash
6. 基金會如何盈利
一般而言,基金公司是通過5個方面來保障為基金持有人獲取最大收益的。
一是判斷宏觀市場,調整基金配置。當股市處於牛市時,基金通常都會把倉位調到最高點。也就是將公司所有能夠持有股票的基金倉位都加到最高點,以保證獲取最大收益。相反,當股市處於熊市時,基金會把倉位適當調低,並加大債券等其他金融產品的投資,以保證獲取穩定的收益。
二是制定有效增長的長期策略,並要找准優勢企業。所謂優勢企業,就是不能只看資金注入,而且還要有業績的持續增長,這樣才能保證有效的基金的長期盈利。
三是要適時選股。在選擇股票上很多公司有不同的做法,這與基金經理的知識結構和歷史行為相關。針對不同的企業,有的基金經理喜歡早早地買入,有的則採取循環買賣的操作方式。總之,這是一個非常復雜的過程,需要經驗豐富的基金經理對數據分析後作出決策。
四是對上市公司的專業化研究。好的基金公司對企業的了解不僅僅停留在表層,而是深入到上市公司的方方面面,例如考察生產車間、生產訂單、了解銷售狀況,掌握未來幾年人員培養計劃、未來的開店計劃等等,基金公司只有精確和深入的研究,才能有持續穩定的獲利。
五是基金經理要有牛市與熊市的經驗。只有牛市與熊市都經歷過的基金經理,才能更好地控制風險,穩中求勝。
7. 數據分析師日常工作是什麼
數據分析有什麼用?
從工作流程的角度看,至少有5類分析經常做:
工作開始前策劃型分析:要分析一下哪些事情值得的做
工作開始前預測型分析:預測一下目前走勢,預計效果
工作中的監控型分析:監控指標走勢,發現問題
工作中的原因型分析:分析問題原因,找到對策
工作後的復盤型分析:積累經驗,總結教訓
8. 大數據分析一般用什麼工具分析
大數據分析的前瞻性使得很多公司以及企業都開始使用大數據分析對公司的決策做出幫助,而大數據分析是去分析海量的數據,所以就不得不藉助一些工具去分析大數據,。一般來說,數據分析工作中都是有很多層次的,這些層次分別是數據存儲層、數據報表層、數據分析層、數據展現層。對於不同的層次是有不同的工具進行工作的。下面小編就對大數據分析工具給大家好好介紹一下。
首先我們從數據存儲來講數據分析的工具。我們在分析數據的時候首先需要存儲數據,數據的存儲是一個非常重要的事情,如果懂得資料庫技術,並且能夠操作好資料庫技術,這就能夠提高數據分析的效率。而數據存儲的工具主要是以下的工具。
1、MySQL資料庫,這個對於部門級或者互聯網的資料庫應用是必要的,這個時候關鍵掌握資料庫的庫結構和SQL語言的數據查詢能力。
2、SQL Server的最新版本,對中小企業,一些大型企業也可以採用SQL Server資料庫,其實這個時候本身除了數據存儲,也包括了數據報表和數據分析了,甚至數據挖掘工具都在其中了。
3、DB2,Oracle資料庫都是大型資料庫了,主要是企業級,特別是大型企業或者對數據海量存儲需求的就是必須的了,一般大型資料庫公司都提供非常好的數據整合應用平台;
接著說數據報表層。一般來說,當企業存儲了數據後,首先要解決報表的問題。解決報表的問題才能夠正確的分析好資料庫。關於數據報表所用到的數據分析工具就是以下的工具。
1、Crystal Report水晶報表,Bill報表,這都是全球最流行的報表工具,非常規范的報表設計思想,早期商業智能其實大部分人的理解就是報表系統,不藉助IT技術人員就可以獲取企業各種信息——報表。
2、Tableau軟體,這個軟體是近年來非常棒的一個軟體,當然它已經不是單純的數據報表軟體了,而是更為可視化的數據分析軟體,因為很多人經常用它來從資料庫中進行報表和可視化分析。
第三說的是數據分析層。這個層其實有很多分析工具,當然我們最常用的就是Excel,我經常用的就是統計分析和數據挖掘工具;
1、Excel軟體,首先版本越高越好用這是肯定的;當然對Excel來講很多人只是掌握了5%Excel功能,Excel功能非常強大,甚至可以完成所有的統計分析工作!但是我也常說,有能力把Excel玩成統計工具不如專門學會統計軟體;
2、SPSS軟體:當前版本是18,名字也改成了PASW Statistics;我從3.0開始Dos環境下編程分析,到現在版本的變遷也可以看出SPSS社會科學統計軟體包的變化,從重視醫學、化學等開始越來越重視商業分析,現在已經成為了預測分析軟體。
最後說表現層的軟體。一般來說表現層的軟體都是很實用的工具。表現層的軟體就是下面提到的內容。
1、PowerPoint軟體:大部分人都是用PPT寫報告。
2、Visio、SmartDraw軟體:這些都是非常好用的流程圖、營銷圖表、地圖等,而且從這里可以得到很多零件;
3、Swiff Chart軟體:製作圖表的軟體,生成的是Flash
9. 基金會不會跌到本金都沒了
放心,基金再怎麼跌,跌沒的可能性,也幾乎沒有。
因為基金一般都是投資幾十隻股票,你要想基金跌沒的話,除非這幾十隻股票破產。你要說,基金一直不踩雷,可能很多人不相信(我也不信),但同時踩雷幾十隻股票,這幾乎就是不可能的了。
所以不要擔心基金會把自己的本金給跌沒了。
但是為什麼東吳轉債B基金(150165)的累計凈值,不僅跌沒了,還跌成負數了?
依據剛才的分析,基金確實不可能跌沒,跌成負數就更不可能了。所以出現這種情況,只有一種解釋,那就是基金加杠桿了。
目前涉及杠桿的基金主要有三種:
1.主動型的債券基金
根據《公開募集證券投資基金運作管理辦法》,開放式債券基金的杠桿是可以達到140%的,定開債基的杠桿更高,可以達到200%。
所以這里就舉一個極端點的例子,
假設一隻定開債基的凈資產為10億,基金經理選擇把自己手中持有的10億債券抵押出去,然後再把抵押獲得的這筆資金進行債券投資,最後這只基金的總資產變成了20億。
當這只定開債基的跌幅達到50%以上時,那麼該基金的凈值,就有可能為負數了。
但是三思君想說的是,主動管理的債券基金的跌幅要達到50%以上,是很難的。因為債券基金投資的債券也是幾十隻,你讓基金持有這幾十隻債券同時踩雷,這幾乎就是不可能的事。
同時從歷史數據看,發生違約的債券是不多的,即使有違約也不太可能導致全部虧損。
所以主動型的債券基金,即使一直跌,跌沒的可能性也幾乎沒有。
2.投資股指期貨、商品期貨的基金
投資股指期貨、商品期貨的基金,也是不可能出現負數的。
因為這類基金對投資的股指期貨、商品期貨都有嚴格的倉位要求,且當投資的股指期貨、商品期貨虧損到一定程度同時保證金不足時,就會觸發強行平倉。
所以也不可能出現跌沒了的情況。
比如匯添富絕對收益定開混合基金(000762)。依據招募說明書顯示,不管是在基金開放期還是封閉期,其持有的期貨合約價值和有價證券市值之和都不能超過100%。
3.分級基金
分級基金是屬於比較復雜的基金品種。所以三思君在這里,就簡單點來說,就是B份額向A份額借錢投資,A份額定期收取B份額給的利息。
通過這個解釋就不難發現,對於B份額的持有者來講,只要定期把A份額的利息支付完以後,盈虧自負。
所以像上文提到東吳轉債B基金(150165),顯然就是把自己的錢給虧完了,要不然B份額的累計凈值怎麼可能是負數。
但是依據最新的監管,現在投資場內的分級基金有30萬的門檻限制,所以普通投資者應該是接觸不到這個品種了。
好了,結論就是,基金再怎麼跌,也是不可能跌沒的。
- END -
10. 數據分析一般用什麼工具啊
六個用於大數據分析的最好工具
一、Hadoop
Hadoop 是一個能夠對大量數據進行分布式處理的軟體框架。但是 Hadoop 是以一種可靠、高效、可伸縮的方式進行處理的。Hadoop 是可靠的,因為它假設計算元素和存儲會失敗,因此它維護多個工作數據副本,確保能夠針對失敗的節點重新分布處理。Hadoop 是高效的,因為它以並行的方式工作,通過並行處理加快處理速度。Hadoop 還是可伸縮的,能夠處理 PB 級數據。此外,Hadoop 依賴於社區伺服器,因此它的成本比較低,任何人都可以使用。
二、HPCC
HPCC,High Performance Computing and Communications(高性能計算與通信)的縮寫。1993年,由美國科學、工程、技術聯邦協調理事會向國會提交了「重大挑戰項目:高性能計算與 通信」的報告,也就是被稱為HPCC計劃的報告,即美國總統科學戰略項目,其目的是通過加強研究與開發解決一批重要的科學與技術挑戰問題。HPCC是美國 實施信息高速公路而上實施的計劃,該計劃的實施將耗資百億美元,其主要目標要達到:開發可擴展的計算系統及相關軟體,以支持太位級網路傳輸性能,開發千兆 比特網路技術,擴展研究和教育機構及網路連接能力。
三、Storm
Storm是自由的開源軟體,一個分布式的、容錯的實時計算系統。Storm可以非常可靠的處理龐大的數據流,用於處理Hadoop的批量數據。Storm很簡單,支持許多種編程語言,使用起來非常有趣。Storm由Twitter開源而來,其它知名的應用企業包括Groupon、淘寶、支付寶、阿里巴巴、樂元素、Admaster等等。
Storm有許多應用領域:實時分析、在線機器學習、不停頓的計算、分布式RPC(遠過程調用協議,一種通過網路從遠程計算機程序上請求服務)、 ETL(Extraction-Transformation-Loading的縮寫,即數據抽取、轉換和載入)等等。Storm的處理速度驚人:經測 試,每個節點每秒鍾可以處理100萬個數據元組。Storm是可擴展、容錯,很容易設置和操作。
四、Apache Drill
為了幫助企業用戶尋找更為有效、加快Hadoop數據查詢的方法,Apache軟體基金會近日發起了一項名為「Drill」的開源項目。Apache Drill 實現了 Google』s Dremel.
據Hadoop廠商MapR Technologies公司產品經理Tomer Shiran介紹,「Drill」已經作為Apache孵化器項目來運作,將面向全球軟體工程師持續推廣。
五、RapidMiner
RapidMiner是世界領先的數據挖掘解決方案,在一個非常大的程度上有著先進技術。它數據挖掘任務涉及范圍廣泛,包括各種數據藝術,能簡化數據挖掘過程的設計和評價。
六、Pentaho BI
Pentaho BI 平台不同於傳統的BI 產品,它是一個以流程為中心的,面向解決方案(Solution)的框架。其目的在於將一系列企業級BI產品、開源軟體、API等等組件集成起來,方便商務智能應用的開發。它的出現,使得一系列的面向商務智能的獨立產品如Jfree、Quartz等等,能夠集成在一起,構成一項項復雜的、完整的商務智能解決方案。