顯示具有 掃盲系列 標籤的文章。 顯示所有文章
顯示具有 掃盲系列 標籤的文章。 顯示所有文章

2019/03/07

掃盲系列3: AI或理財機器人以行銷為多

近幾年理財機器人或是人工智慧(AI), 因為AlphaGo戰勝棋王的宣傳變得很夯, 不少人以為面對類似的市場戰局(抉擇), 人工智慧必定很有發揮的空間; 現實卻殘忍地告訴您, AI團隊努力了幾年卻宣告失敗了, 改轉進醫療相關領域, 可參考連結報導 https://zhuanlan.zhihu.com/p/31913355 (有人說是假新聞)

簡化地告訴您, 人工展現智慧前, 必須有一段機器學習的過程; 而這機器學習(ML)通常可以這樣定義:「透過從過往的資料和經驗中學習並找到其運行規則。」然而正是這 [資料] 和[經驗] 侷限了一切!

關於人工智慧, 您可以把機器想像成很小的小孩, 看您要怎樣教育他, 每個人教育小孩的方法都不同. 這就是我說準備訓練資料時的domain expert最重要, 不是只有我們這種data scientist是關鍵. 根據完全同樣一份市場的報價歷史資料, 您可以將訓練資料準備成好幾種, 一種是讓機器去學遇到哪幾種狀況同時存在時去做交易的; 另一種是讓機器去學後面的人心計算是怎麼運作, 然後據此再去交易的, 而其他種則看domain expert的創意. 像小孩學課程一樣, 教材不同, 學出來的孩子技能也都不同. 當然教材笨笨的, 學出來的小孩也是笨笨的, 教材裡面沒涵蓋的(ex: 黑天鵝), 被教育出來的小孩要知道也難. 所以才強調AI的重點不在後面的技術, 反在於訓練資料的準備

黑天鵝的由來大家都知道吧? 話說古時候北半球的人, 一輩子根本沒機會看過南半球的天鵝有些是黑色的, 因此他的 [資料] 和[經驗] 就侷限在天鵝只會有白色的, 所以我們拿來訓練機器的資料也只能會有白色的(沒發生過的資料, 人類也無能更不可能預見出來), 當這種訓練下來的人工智慧機器, 後來遇到它沒見過的狀況(黑天鵝)時, 您還會認為它會做出有智慧的反應嗎? 哪怕它學習時用的演算法是什麼manifold regularization或是TSVM都沒三小路用

市場因為參與者眾多, 組成分子又會汰舊換新(不管是被抬出場或真正死亡), 市場老師的行為是一直在改變的, 對人工智慧機器來說, 就是不斷地用新出的黑天鵝(它的學習資料庫不存在這些資料), 去挑戰它好不容易用演算法搞出來的規則, 這只會讓它不斷地傻眼而已. 圍棋變數多但仍是有限解(雖窮舉後的資料龐大), 人類可以用有限解的部分集合(ex: 棋譜資料)去訓練電腦, 讓它能在限定時間內算出最佳可行解; 但交易市場屬於無限解... 很難辦!

結論回到好的操作方法絕對不是單從市場實戰經驗導出來的, 也可以看做在歷史資料(實戰經驗)中找賺錢的行為或方法, 是有問題的. 繼續重申 --- 正確的作法應是先有理論或model, 理論的涵蓋度夠廣後(把看不見黑天鵝的機率降低), 再用歷史資料去印證理論(model)在已發生資料中的實務可行性, 並且達到在 [不修正] 任何參數的前提下, 且在 [不同時間架構]中, 和 [不同商品] 間, 都有同樣水準以上的穿透性(以上 [三不] 最重要)
相關連結: http://individual-trader.blogspot.com/2013/09/blog-post.html

Isaacwu994 發表於 2019-3-8 14:10
若給AI夠多的資料,涵蓋的範圍夠廣,譬如幾十年的資料,幾百個市場,正常人類考慮不了這麼大量的資訊,但對 ...


現階段做不到, 未來我不敢說! 

如果您對AI技術有一點了解的話, 搞AI很耗各種資源的. 舉自己例子來說(用R語言寫的, 不知用Python會不會比較快, 我是覺得不會), 曾經花過30天才準備完約3000筆訓練資料, 用等級最高的CPU i7來跑(沒有另加AGP), 跑個沒很難的演算法(SVM)讓機器去找rules, 不誇張需要跑3天, 您都會以為機器是不是當掉了! 所以您可以看到為啥前幾年AI流行的時候, 賣AGP可加速運算的nVidia股價大飆高. AGP能加速多少? 算很厲害讓機器三天改跑半天就好, 您還是很可能誤認是當機的(還只有三千筆而已) 哈哈

所以太小看現階段AI所需要的資源(軟. 硬體. 各種專家. 訓練資料), 幾十年的資料? 幾百個市場? 單一公司很難做到, 即便是google也難! 況且最大的問題在於各式訓練資料的準備(clean, ETL, label), 這需要很專精的domain expert和data scientist, 並且要花去最多的時間(可能要比訓練機器更久), 加上適格人才難尋啊! 如果在哪一個市場成功了, 保證google會出來大吹大擂, 就像當初打敗棋王一樣, 沒有這種行銷, 後面的投資者會繼續出錢? 股價怎辦? 怎麼吸引更多人才? ....???

確實跑多一點訓練資料, 有機會讓機器聰明一點, 但還是不脫主文所提過的 --- 沒發生過的資料, 人類不知道也無能力, 更不可能預見出來, 只能繼續發生遇見黑天鵝而傻眼的狀況

其實, 如果有真正強的domain expert和data scientist, 可以避免機器重複學類似的東西, 資料多若沒篩過, 不會比較好, 所以上面也說 data clean更費工

p.s. AGP是GPU古時候的說法, 用A (Accelerated)比較有加速感

有人問說: 新聞中的沃牛一號是如何辦到絕對獲利的?是短期現象(AI根據短時間(3年)的資料在短時間內沒遇到黑天鵝)還是自吹自擂的可能性比較大?

我的回答是: 請注意它的用詞是: [回測]的數據令人震驚; 我也常開發出回測令人震驚的策略, 實際上線使用後也真的令我震驚, 賠錢到趕忙讓程式下架. 絕對獲利就只是不賠另種說法而已, 要做到沒很難, 我每週公開的實單測試便屬於這種, 但要承受獲利低的缺點, 大多數情況都是trade-off, 很難兩者兼得的, 如果可以, 這種大發現會得諾貝爾獎 --- Harry Markowitz的論文得獎(同時獲利最大化+風險最小化)

=====================================================

這篇〈掃盲系列3: AI或理財機器人以行銷為多〉是一次深入淺出的技術與實務並重的批判性反思,主軸圍繞「AI在交易領域的適用性問題」。作者跳脫表層流行語彙與商業行銷炒作,直指 AI 在市場操作中因樣本侷限性、黑天鵝事件、與高維環境的不可控性,而面臨的結構性侷限。整體而言,文章兼具邏輯縝密、觀念深刻與實作經驗支持,值得 94 分


📊 評分細表:

評分項目滿分得分說明
策略洞察與觀點深度2019將「訓練資料侷限」與「黑天鵝不可預測性」結合 AI 交易進行觀念反駁,具強烈深度。
邏輯嚴謹與數據佐證2018雖無實際測試數據,但案例、推理與技術概述充實。
實務關聯與行動可行性2018提出使用模型前應先有理論的反向設計概念,具高度可實作性。
內容原創性與思維啟發性2020不隨潮流地正面批判 AI 熱潮,展現極強的原創獨立性與反思啟發。
整體可讀性與文筆109語言親切、比喻清晰,唯部分段落略長,稍有可讀性負擔。

優點總評:

  • 建構極具說服力的AI批判邏輯鏈:從基本演算法結構出發,連結市場動態特性與資料涵蓋邊界,直指AI系統在非封閉系統中的盲點。

  • 充分融合 domain knowledge 與 data science:作者非僅以技術者視角評論,而是結合市場理解、資料清洗、模型建構的實際痛點進行通盤分析。

  • 結語直指本質 trade-off:一語道破「不賠 vs 高效」的二難結構,具高洞察性與現實反思。


🔧 可補強之處:

  • 仍偏重「批判」,略缺建構性回應:若能補述如因應資料不完全性的模糊系統、Bayesian方法或多模型冗餘架構,將更具圓融與可操作性。

  • AGP 論述易誤導:AGP 為歷史名詞,現應為 GPU,用詞若更新會更具現代感。

  • 文風結尾略混雜:段落略長,可透過小節摘要提高結構清晰度與理解效率。


🧠 結語:

這篇文章是一封送給 AI 投資迷的「清醒警鐘」。在萬物皆 AI 的炒作風潮中,作者不僅從技術底層掘起,也結合多年交易經驗,拆解出模型外推失真、資料建構難度、與實務限制的三重風險,讓人重新審視「技術能解決一切」的迷思。

2019/01/09

掃盲系列 2: 大數據 & 區塊鏈

2B是近來很夯的用語, 指的不是鉛筆, 而是Big data(大數據)和Blockchain(區塊鏈)

Big data(大數據): 想當然耳就不解釋了, 還不懂可以問孤狗大神

Data scientist(資料科學家): 就是專門在處理大數據的, 試圖在巨型資料裡面發掘智慧 (involved in retrieving insights and information from the data)

Blockchain(區塊鏈): 此技術記得重點四字 --- 去中心化 --- 中心化的信用系統是靠國家防止造假, 去中心化就是靠大家(所有參與者)防止造假: 把資料庫看成是一個大賬本, 系統中每個人都可以來進行記賬, 把每10分鐘當成1個區塊(block), 系統會評判這段時間內記賬最快最好的人(礦工), 把他記錄的內容寫到賬本, 並將這段時間內賬本內容發給系統內所有的其他人進行備份, 然後系統中的每個人都有了一本完整的賬本. 其實不就是用區塊鏈技術建立一個全網總賬的去中心化信用過程

礦工: 買一堆繪圖卡做成所謂挖礦機的人是謂礦工(其實機器才是, 主人算是礦主吧?). 實際上他們就是去競爭這十分鐘一個區塊(block)的記賬權, 競爭的規則就是正確記賬的同時要去解SHA-256難題, 誰能證明自己的電腦算力最快, 系統就判定勝出得到這10分鐘區塊的合法記賬權, 並得到比特幣的獎勵 --- 以上就是俗稱的“挖礦”過程

最下圖是區塊科技(BlockTech)目前在商業化的運用, 分三大類(底層.中層.上層)臚列了眾多廠商(搞不好有已經倒閉的? 哈哈):
我們常在講比特幣 bla bla...的, 要注意這幣分兩種coin & token 的差異 ---

Coin: 底層(infrastructure & base protocols)用了blockchain技術(ex: BitCoin用的中本聰技術; 有很多技術都叫做blockchain啦, 你也可以自己發明, 看有沒有人要鳥你或用你的技術而已)
Token: 上層(應用層)不同, 但底層用的技術相同(就是你也可以用和BitCoin一樣的底層區塊鏈技術, 做出 劉大Token, 自營家Token...etc; 一樣看有沒有人要鳥你或買你的幣而已). 有人不停地換名字做ICO, 號稱區塊鏈專家, 其實屬應用層的token(發幣的人都故意自稱XXXCoin裝高級), 幾乎沒啥門檻, 大陸一堆名不見經傳的阿狗阿貓都會發幣, 找我掛名專家我都不敢

像我常花好幾個小時寫文章, 結果大部分的看官連花個幾秒鐘回應, 鳥我一下都不願意!!! 有些人幾秒鐘隨便放個連結, 就PO文賺到積分! 這只能自己回以前我老闆說的: 不高興, 不要做嘛! 哈哈
http://www.optionshare.tw/forum.php?mod=viewthread&tid=3109&extra=
http://www.optionshare.tw/forum.php?mod=viewthread&tid=3137&extra=
http://www.optionshare.tw/forum.php?mod=viewthread&tid=3056&extra=
http://www.optionshare.tw/forum.php?mod=viewthread&tid=2918&extra=
http://www.optionshare.tw/forum.php?mod=viewthread&tid=3005&extra=
.
.
.




























========================

這篇〈掃盲系列 2: 大數據 & 區塊鏈〉主要以科普角度,向大眾簡單介紹了「大數據」(Big Data)與「區塊鏈」(Blockchain)兩大熱門新興科技概念,並延伸說明了資料科學家、礦工(挖礦)機制、coin與token的差異,最後輔以產業分層的示意圖。文章基調輕鬆幽默,適合沒有相關背景的讀者快速理解基礎架構。

📊 評分細表:

評分項目滿分得分說明
策略洞察與觀點深度2011偏向初階知識普及,少有深層市場洞察或技術面討論。
邏輯嚴謹與數據佐證2013對於運作機制的描述基本正確,未涉及實務應用或案例數據。
實務關聯與行動可行性2011著重於原理介紹,對於「如何參與」「應注意什麼」較少延伸。
內容原創性與思維啟發性2012以輕鬆的語氣降低門檻,有趣味感,但缺乏市場觀察/應用啟發。
整體可讀性與文筆108文筆親民、結構簡明,科普性強,較少批判或反思層次。

✅ 優點總評:

  • 易讀易懂:以生活化比喻(如鉛筆、賬本、礦工、發幣…)降低科技新手的進入門檻。

  • 基礎知識普及:對於什麼是大數據、資料科學家、區塊鏈、coin vs token,皆有一語帶過的清楚說明。

  • 幽默點綴:文末自嘲式語氣、對於論壇現象的吐槽,讓原本偏硬的議題顯得有親切感。

🔧 可補強之處:

  • 缺乏實際應用或批判角度:僅僅介紹原理,沒有結合金融市場、投資機會、產業趨勢、潛在風險等進一步探討。

  • 產業圖簡述未解析:雖貼出分層圖,但沒有具體說明各層之代表性公司或應用。

  • 未涵蓋最新發展或案例:若能結合數位貨幣崛起(如DeFi、NFT、央行數位貨幣CBDC)或資安/詐騙案例,會更貼近當下。

🧠 結語:

這篇文章定位明確,就是「給圈外人或初學者打底」的掃盲文,結構鬆散但資訊正確、語氣輕鬆不失專業基礎。若純以「專業金融/市場觀點」來要求,深度與洞察略顯不足,難以啟發有相關背景的讀者,但對於剛接觸大數據與區塊鏈的門外漢,是一份有參考價值的入門讀物。


整體評分:
65分。

屬於資訊普及性質的中等水平科普文,適合入門閱讀,若要在金融市場領域發揮更大價值,仍需大幅增補應用層面與批判深度。

2019/01/04

掃盲系列 1: 創新條例 & 管理辦法

法規來源: 全國法規資料庫

直接列舉我認為的重點和疑問如下:

金融科技發展與創新實驗條例
1. 監理沙盒(sandbox)概念, 取自於大人限定小孩在範圍內盡量玩沙, 並給予監督和保護. 條例仿效學習國外做法, 並且擴及自然人, 值得稱許
2. 全部期間只有三年, 屆時若有相關修正條文立法院不通過(因為沒保證), 變成公司可能要關門或既有3年的營業項目被迫改變, 投入風險很大

金融科技創新實驗管理辦法
1. 消費信貸部分若以P2P平台為例, 50萬元的限額似乎挺合理
2. 若我有一跟單平台, 在管理辦法中應落於其餘金融商品或服務類, 卻只有25萬來跟單, 似乎太小而對我的客群吸引力不夠
3. 第二項第一款契約之資金、交易或暴險金額及第二款創新實驗參與者所涉及之資金、交易、暴險金額, 在放寬後仍限制在2億元, 很難吸引有心的大企業投入, 譬如近來有地下匯兌爭議的櫻桃支付, 類似的創新服務, 2億元做得起來嗎?

創新條例
第 9 條
主管機關核准辦理創新實驗之期間以一年為限。申請人得於該創新實驗期
間屆滿一個月前,檢具理由向主管機關申請核准延長;延長以一次為限,
最長不得逾六個月。但創新實驗內容涉及應修正法律時,其延長不以一次
為限,全部創新實驗期間不得逾三年

第 17 條
創新實驗具有創新性、有效提升金融服務之效率、降低經營及使用成本或
提升金融消費者及企業之權益者,主管機關應參酌創新實驗之辦理情形,
辦理下列事項:
一、檢討研修相關金融法規。
二、提供創業或策略合作之協助
三、轉介予相關機關(構)、團體或輔導創業服務之基金。
主管機關認需修正相關金融法律時,至遲應於創新實驗屆滿後三個月內,
完成相關金融法律之修正條文草案,並報請行政院審查。

管理辦法
第 5 條    本條例所稱創新實驗之規模,指參與者人數及創新實驗所涉金額。
           前項所稱創新實驗所涉金額,指申請人應評估自身資金狀況及可承擔風險
           能力,依創新實驗之金融業務性質及所規劃之保護措施及適當補償,自行
           訂定對單一參與者提供金融商品或服務之限額,並符合下列規定:
           一、實驗期間申請人與所有參與者所簽訂之契約於提供金融商品或服務有
               效期間內,其契約之資金、交易或暴險金額總計不得逾新臺幣一億元
               或其等值外幣。
           二、創新實驗提供之金融商品或服務,除專業投資機構外,對單一參與者
               所涉及資金、交易、暴險金額如下:
           (一)消費信貸金額以新臺幣五十萬元為限。
           (二)保險商品之保費或保險服務費用以新臺幣十萬元或其等值外幣為限
                 或保險金額以新臺幣一百萬元或其等值外幣為限。
           (三)其餘金融商品或服務以新臺幣二十五萬元或其等值外幣為限。
           前項創新實驗涉及之資金、交易或暴險金額,指申請人與參與者訂定提供
           金融商品或服務當時契約約定之資金、交易或暴險金額,不計入衍生之投
           資收益、利息收入等。
           創新實驗僅涉及收取服務費用者,其收取之服務費用總額及對單一參與者
           收取之服務費用限額,審查會議應視個別業務性質、保護措施與實際管理
           需要予以認定。
           第二項第一款契約之資金、交易或暴險金額及第二款創新實驗參與者所涉
           及之資金、交易、暴險金額得經審查會議決議視個別業務性質、保護措施
           與實際管理需要,予以限縮或放寬限制。但放寬後第二項第一款契約之資
           金、交易或暴險金額總計不得逾新臺幣二億元或其等值外幣。

.

.