VOL8.0
2022-06
目錄
CONTENTS
一線
數說
準繩
驅動力
目錄
? ? ? ? 疫情反反復復,政策每天都在變,好在一個月的堅持后,除了豐臺和昌平,絕大多數地區都陸續恢復了正常生活和工作秩序。
? ? ? ? 新一期的《驅動力》也準時見面,復工復產之余提醒各位注意安全防護,閑暇之際看看小文章,希望給大家忙碌的工作帶來一些小小的調劑,利用碎片時間共同進步。
導語
導語
page/01
page/02
元數據技術架構設計方案
整個分享分為三個部分。
第一部分,說說我和我的團隊眼中的元數據。
第二部分簡單介紹如何實現元數據管理的架構。
第三部分,我將通過舉例的方式,說明元數據的應用價值。
驅動力
一線
page/03
page/04
(PPT全文附解讀)
? ? ? ? 元數據是信息的維度,可以說,掌握了元數據就掌握了信息的維度。
只有充分利用好元數據(也就是信息的維度),通過合理的元數據建模(維度整合),對元數據進行科學管理(維度完善),才能更好地認知信息。
? ? ? ? ?那么,就可以將元數據管理看成是這些信息概念和信息本身之間的一種連接。其中信息概念表示某個業務所有維度的集合,連接則是描述元數據與元數據之間關系的方式。
一線
驅動力
page/05
page/06
? ? ? ? 元數據管理是隨著數據倉庫的建設逐漸完善起來的,這也決定了元數據管理主要集中在數據領域。例如數據結構、數據加工轉換關系等。
而隨著我們對元數據理解的不斷深入,其實元數據廣泛存在于企業架構的方方面面,而不僅僅局限于數據領域里。
? ? ? ? 因此,元數據管理的范圍也在不斷擴大,從簡單的庫表,到整個數據平臺,再到服務管理,不斷地突破傳統管理的范疇,形成了廣義元數據管理。?
? ? ? ? 在這個過程中,對元數據的技術架構也有了新的要求,穩定可擴展的架構才是實現廣義元數據管理的基礎。
一線
驅動力
page/07
page/08
? ? ? ? 要實現元數據管理有三個方面,
? ? ? ? 1、采集:指從各種工具中,把各種類型的元數據采集進來,采集是元數據管理第一步。
? ? ? ? ?2、存儲:采集之后需要相應的存儲策略來對元數據進行存儲,這需要在不改變存儲架構的情況下擴展元數據存儲的類型;?
? ? ? ? 3、管理和應用:在采集和存儲完成后,對已經存儲的元數據進行管理和應用。?
? ? ? ? ?隨著元數據管理范疇的不斷擴大,如何保證元數據從采集、存儲到應用等關鍵環節的穩定和擴展,成為元數據管理架構設計的關鍵問題。?
? ? ? ? ?OMG的模型體系規范為元數據管理提供了基礎,所以整個元數據管理設計的關鍵應該以模型體系規范為指導。
? ? ? ? ?OMG提出的CWM(Common Warehouse Metamodel)規范對數據倉庫相關的所有模型進行了描述,在初期我們也遵照此規范設計元數據管理的架構,但是規范里也有坑,我們很快就發現了問題。?
? ? ? ? ?我們發現CWM規范本質上是針對數據倉庫領域的規范,按照OMG的模型體系來看,模型的抽象層次還是太低
一線
驅動力
page/10
page/09
? ? ? ? 如果繼續提高抽象層級,MOF規范位于模型體系最底層,所有模型體系規范的基礎都應該是MOF(Meta Object Facility)規范,UML,CWM都是由MOF擴展而來。?
? ? ? ? 基于MOF的還有模型交換的規范XMI,為不同元數據交換提供了很好的模型基礎。?
? ? ? ? ?那么若整個元數據圍繞MOF設計和擴展,不用修改元數據管理核心部分,就可以適應元數據種類的不斷擴展。
? ? ? ? 下面我們來看看如何設計元數據的存儲
元模型對元數據屬性及關系進行了定義,一般來講,元模型存儲有兩種方式。
? ? ? ? 1、第一種方式是將元模型轉換成系統數據庫表和屬性,實現一對一管理存儲。例如可以將主鍵元模型存儲在主鍵記錄表中、將存儲過程元模型存儲在存儲過程記錄表中等。
? ? ? ? 2、另一種方式是基于MOF元元模型把所有屬性和關系打散,以此來實現元模型的通用存儲結構。?
? ? ? ? ?如圖所示,以CWM模型中關系型包為例進行說明,方式一是直接將元模型轉化為庫表,方式二按照元元模型的方式存儲元模型;
盡管第二種實現方式上復雜度會更高一些,但是在擴展性有絕對優勢,是元數據管理實現的優先選擇方式。
一線
驅動力
page/12
page/11
? ? ? ? 再來看看模型體系的層次結構。
? ? ? ? 和元數據有關的體系分三層,M1(元數據)、M2(元模型)、M3(元元模型),其中MOF元元模型中描述了包、元素、屬性、命名空間和約束等對象及其關系,位于層次結構的最上層,也是最抽象的一層。
? ? ? ??
? ? ? ? 以MOF作為底層元元模型來支持元數據管理,在M2層中就可以對元模型進行定義和擴展(例如CWM模型),將來還可以擴展到微服務模型、業務模型等。
? ? ? ? 選定了實現方式后,一般可以通過三步來實現元數據的管理,
? ? ? ? 第一步,以MOF規范設計元模型存儲結構,從而支持元模型的擴展。
? ? ? ? 第二步,基于MOF設計元模型,例如將CWM(公共倉庫元模型)規范中定義的元模型,存儲在元模型中。
? ? ? ??
? ? ? ? 第三步,按照擴展后的元模型,采集元數據,存儲到元數據系統中。
一線
驅動力
page/14
page/13
? ? ? ? 在元數據管理三層管理架構的支持下,通常只需要做元模型定義和元數據采集,就對不同元數據進行管理。
? ? ? ? 例如,要將表與字段元數據采集到元數據管理系統,只需要如下兩步:
? ? ? ? 首先,對元模型定義并描述元數據特征,包括類屬性描述、關系的描述等;
? ? ? ? ?然后,將元數據采集進來,存儲到系統中;
? ? ? ? ?良好的元數據架構,能夠給元數據帶來更多的應用價值。我們再看看元數據的應用價值。
? ? ? ? 通過元數據管理我們能夠做到:?
? ? ? ? 1、實現多樣、繁雜的元數據信息集中管理,為企業數據(服務)管理提供統一的視圖,實現企業級數據(服務)資產管理,方便數據(服務)交互共享,同時為后續規劃提供依據;?
? ? ? ? 2、通過管理維護數據(服務)之間關系,實現數據(服務)自動關聯分析,為問題定位、影響分析、上線加速等提供支撐。?
? ? ? ? 3、建立數據(服務)標準,統一交換、存儲、應用口徑,減少共享壁壘,降低應用出錯幾率,提升質量。?
? ? ? ? ??
? ? ? ? ?通過這些基本能力,元數據在數據管理、微服務管理、業務管理等方面都能發揮很大的作用。
一線
驅動力
page/16
page/15
? ? ? ? 通過元數據管理,在數據方面能做到:
? ? ? ? ?1、數據標準化;
? ? ? ? ?2、數據開放;
? ? ? ? 3、數據質量提升等
? ? ? ? 在微服務方面,能夠提供以下支撐:
? ? ? ? 1、服務開發、應用等標準化;
? ? ? ? 2、服務應用監控,優化服務應用等
? ? ? ? 將來在業務方面也能通過元數據實現業務流程分析、業務流程優化等能力。
? ? ? ? ?下面我們用幾個例子,舉例說明元數據的作用。
? ? ? ? 數據治理之中,元數據是整個治理體系落地的技術核心。
? ? ? ? 比如:在數據標準中將數據標準作為一類業務元數據存儲,將其和技術元數據一定程度的關聯,去看標準的落地效果
? ? ? ? 在數據質量中,通過元數據追溯質量問題。在共享發布中,利用元數據自動形成數據服務等等。
一線
驅動力
page/18
page/17
? ? ? ? 元數據還能夠自動化的準確的管理應用的上線、變更。
? ? ? ? 元數據通常企業系統建設會分為開發、測試與生產三個不同的環境,而在軟件開發過程中,無論是需求變更還是BUG修改都避免不了元數據的改動,這時候往往會出現開發庫、測試庫測試通過,而在上線過程中又出現問題的情況,這會讓運維部門非常頭疼。
? ? ? ? 此時若通過元數據對系統的上線變更進行管理,自動采集三個環境的庫表結構與存儲過程等信息,保證各個環境中的元數據都是最新的、最準確的,再將上線環境與測試環境的元數據進行對比,不一致的地方一目了然。
? ? ? ? 如果把系統的開發庫、測試庫、生產庫的元數據都管理起來,上線時突然出現問題的概率就會大大降低。
? ? ? ? 通過擴展模型,元數據也能夠管理微服務,微服務的生命周期有多個階段,在前期需要與多個微服務協同考慮,上架后也會有多個使用者,在這種復雜的狀況下需要管理微服務的全生命周期。?
? ? ? ? 在規劃階段提供標準元數據規范微服務,在設計階段提供連接其他微服務的元數據信息,在開發階段使用元數據協助開發測試。?
? ? ? ? 上線后分析微服務的使用情況,并協助維護微服務的變更。最后微服務下架時將微服務的元數據存檔,并確保對目前體系不產生影響。?
? ? ? ? 同時微服務的不同版本間的元數據的變化也可以做追溯和分析。
數說
驅動力
page/20
page/19
? ? ? ? 最后,未來元數據將是連接業務,數據與服務的企業核心基礎設施,可擴展的元數據架構也能夠產生更多更有價值的應用場景。
年輕人頭發報告:
每 4 位男性就有1人脫發
本文作者葉不凡
原文鏈接://mp.weixin.qq.com/s/oOyWXt8HiIgbtVeALL9Axw
當代年輕人苦頭發已久,《中國人頭皮健康白皮書》數據顯示,我國脫發人數已超2.5億人(男性約1.63億,女性約0.88 億,相當于每4位男性中有1人脫發,每8位女性中有1人脫發。與此同時,30歲前脫發的比例高達84% ,較上一代人的脫發年齡提前了20年,呈現明顯的低齡化趨勢。
寫不完的代碼、修不完的Bug,除了格子衫,程序員們還有個重要的標志:頭頂有點光。
數說
驅動力
page/22
page/21
不過現在,脫發早已不是程序員的專屬悲傷,越來越多人開始禿了。今天,我們分析一下年輕人與頭發之間的愛恨情仇。
中國約2.5億人存在脫發問題,其中90后占比上升,超越80后,脫發現象呈現年輕化趨勢。
90后脫發情況分布中,46.7%有嚴重的脫發。女性中,有43.7%會脫發,而男性中脫發人群占比相對更高,達51.4%。
90后脫發區域分布中,男性或女性都認為發際線是最主要的脫發區域,其次,女性的發縫也脫發明顯。
IT 通信行業不出意外地成為禿頭的“重災區”,“禿頭程序員”的說法絕不是句玩笑話,尤其是男性碼農,慘遭折磨。如果你身邊有這么一位親朋好友是碼農,那么防脫發產品或許是程序員節的最佳禮物。
對于女生來說最容易頭禿的行業是廣告營銷和醫藥衛生。她們為工作付出的不止是青春,還有飄逸的長發。
數說
驅動力
page/24
page/23
禿頭大軍遍布大江南北,江浙滬的打工人不出所望地全部光榮上榜,在所有省份中,廣東、江蘇、山東位列榜單前三。
在北上廣深等大城市,秋風颯爽也顯得格外清涼。除了我們熟悉的互聯網重地外,成都、武漢、鄭州也擠入脫發的行列。
各地程序員關注的問題,連起來能寫成一部禿頭史,不過顯然不同地方的碼農遭受的折磨還是有差別的。在廣州程序員還在搜索“頭頂脫發是什么原因?”的時候,北京的程序員已經在搜索“植發后還會脫發嗎?”
90后脫發原因中,超50%認為熬夜、壓力過大是他們脫發的主要原因,其次,也有內分泌失調、缺乏運動等自身原因。
90后睡眠質量調研中,有脫發現象的人群睡眠質量處于非常差、較差和一般的占比(46.0%)明顯高于沒有脫發現象的人。
數說
驅動力
page/26
page/25
90后的脫發人群中,僅16.4%不會因為脫發煩惱,而37.7%會經常因脫發煩惱。他們認為脫發對顏值、自信、脫單影響程度最大。
購買防脫洗發水的消費者中,90后占比達58.3%。??
90后拯救脫發方法中,超2成90后認為植發是最有效的方法,通過手術方式從根本解決發量問題。
中國植發人群中,90后占比超5成,在他們對植發的問題中,最關心的是植發的價格。
治療脫發吃藥雖然有效,但是有些人可能會有比較明顯的副作用。植發一般是按毛囊數量收費,一個毛囊價格從十幾塊到幾十塊不等。不同的脫發程度需要的毛囊數是不同的。
脫發較輕的,1000-2000個毛囊就夠了,嚴重的往往要植3000-4000個毛囊,這樣算下來至少要為其付出幾萬塊甚至數十萬的治療費。
準繩
驅動力
page/28
page/27
相比于脫發、發質干枯,人們更擔心的是熬夜、巨大精神壓力以及可能存在的身體亞健康信號。所以,脫發成了數億90后共同的痛,當他們無力改變工作制度和調整生活節奏,就只能苦哈哈地調侃一句:我變禿了,也變強了。
雖然,我們無法完全解決頭發問題,但我們可以嘗試為禿頭正名。用年輕人的自黑精神消解禿頭的尷尬,打破脫發的標簽。就像一位朋友說的,人沒有十全十美的不是嗎?
最后,祝愿你有好頭發,如果沒有,愿你在苦惱后趕緊就醫,注意休息。祝愿你有好發型,如果沒有,愿你失意中再接再厲,從頭再來。
參考資料:
網易熟讀:中國脫發地圖出爐,這里的人最禿
Mob研究院:2021年90后脫發調研報告
天津人臉識別案居民勝訴:
小區以刷臉作為唯一通行方式二審被改判違法
來源:新京報 記者:胡閑鶴
原文鏈接://mp.weixin.qq.com/s/wJ5EBk4YuIqmwEkw7lE29w
人臉信息具有唯一性、不可變性和易獲得性,這既為人臉識別技術帶來了價值,又帶來了風險。
因將人臉識別作為進出小區的唯一通行驗證方式,天津市一物業公司被居民告上法庭。一審法院認為,相關證據不能證明被告侵犯了其隱私權。近日,該案二審作出改判,法院要求物業公司刪除原告人臉信息,并為其提供其他出入小區的通行驗證方式。
受訪專家表示,二審判決的突破性在于,法院正確而合理地適用了2021年8月1日施行的《 最高人民法院關于審理使用人臉識別技術處理個人信息等相關民事案件適用法律若干問題的規定》中的相關規定,物業公司必須給業主或者其他有權進出的人提供人臉識別之外的其他合理驗證方式。
準繩
驅動力
page/30
page/29
拒絕小區人臉識別:隱私權糾紛還是個人信息保護糾紛?
顧某居住于天津市和平區誠基經貿中心,該小區物業公司采用人臉識別作為出入小區的驗證方式。
判決書顯示,2021年8月2日至5日期間,顧某與蘭州城關物業服務集團有限公司天津分公司(以下簡稱“城關天津公司”)誠基經貿中心項目部工作人員多次溝通,要求刪除其人臉信息,并向其提供無障礙出入小區的方式,但物業公司拒絕了顧某的要求。此后,顧某委托律師事務所向城關天津公司發出律師函,提出同樣要求,后者簽收律師函后,并未與顧某或其代理人聯系。
2021年9月,顧某將蘭州城關物業服務集團有限公司及城關天津公司告上法庭。
顧某訴稱,被告拒絕刪除其人臉識別信息、使用人臉識別作為出入物業服務區域的唯一驗證方式,侵犯了原告的人格權,違反了處理人臉信息需要遵循的合法、正當、必要原則。城關天津公司辯稱,人臉識別信息采集是經過業主委員會、綜合洽理辦公室、社區、街道辦共同完成的工作,同時在天津市公安局和平分局進行聯網監控,并符合現在疫情管控要求,原告人臉信息只在門禁上使用。
此案一審的案由被法院定為隱私權糾紛。依據《民事訴訟法》第六十四條“當事人對自己提供的主張,有責任提供證據”的規定,一審法院判決認為,原告顧某并未提交被告對其信息存在泄露、篡改、丟失的相關證據,且提供的相關證據不能證明二被告侵犯了其隱私權。故原告的訴訟請求沒有事實和法律依據,不予支持,駁回全部訴訟請求。
顧某不服一審判決,后上訴至天津市第一中級人民法院。上訴人認為,本案的主要法律問題是個人信息保護而非隱私權,一審法院適用法律錯誤,案由選擇錯誤。其未主張個人信息被泄露、篡改、丟失,無需提供相關證據,一審法院對舉證責任的認定有誤。
二審法院對一審法院查明的事實予以確認,認為本案系因處理個人信息引發的糾紛,案由應確定為個人信息保護糾紛。
北京煒衡(成都)律師事務所合伙人魏冬冬長期關注數據合規與個人信息保護領域,她對記者表示,隱私與個人信息是兩種相互區別、相互交叉的個人權益,對二者進行保護的法律規則也不同。“隱私只有在受到實際的侵害或潛在威脅時候,才能受到保護,隱私案件中的舉證責任主要由原告承擔,而在個人信息案件中舉證責任是倒置的。二審法院將案由糾正為個人信息保護糾紛,主要舉證責任就轉變到物業公司一方。這是原告本案二審勝訴的基礎。”
準繩
驅動力
page/32
page/31
法院:物業需提供人臉識別以外的通行驗證方式
清華大學法學院教授勞東燕對記者表示,根據《個人信息保護法》等相關規定,人臉信息作為生物識別信息屬于法律保護的敏感個人信息范疇,使用人臉識別技術時應嚴格遵守個人信息保護的相關法律規定。除法律、行政法規另有規定外,處理個人信息應征得該自然人或者其監護人同意, 同時應當遵循合法、正當、必要原則。
顧某在上訴中還認為,一審法院認為城關天津公司處理人臉信息系疫情防控之需要,沒有事實和法律依據,不符合必要、合法原則。
二審法院審理指出,城關天津公司基于涉案小區人員密集、安全防范難度較大的情況,在征得業主及物業使用人同意的情形下,于2020年2月啟用人臉識別系統作為業主及物業使用人出入驗證方式,能夠更精準識別出入小區人員,在新冠肺炎疫情防控中發揮了較大作用,并不違反法律規定。
但二審法院同時指出,根據2021年8月1日起施行的《最高人民法院關于審理使用人臉識別技術處理個人信息相關民事案件適用法律若干問題的規定》第10條規定,如果有業主或者物業使用人不同意采取上述驗證方式而請求物業公司提供其他合理驗證方式的,物業公司不能以智能化管理為由予以拒絕。
二審法院認為,顧某在辦理入住時雖然同意城關天津公司提取其人臉信息作為通行驗證方式,但其后多次就城關天津公司提取人臉信息作為唯一的驗證通行方式提出異議。城關天津公司以人臉識別驗證方式系業主委員會同意拒絕為顧某提供其他驗證方式的抗辯理由,與前述規定相悖。城關天津公司關于使用人臉識別驗證方式是按照疫情防控的相關規定和要求的主張,亦無證據證實。
最終,二審法院撤銷一審判決,要求城關天津公司刪除顧某人臉信息,并提供其他通行驗證方式,賠償合理費用6200元。
勞東燕認為,除了案件性質的重新界定,即本案涉及的是個人信息權益而非隱私權,上訴能夠改判的關鍵是二審法院對于現有法律法規及司法解釋的理解更為準確,比如對必要性原則的理解。
魏冬冬表示,對人臉信息采集必要性的判斷,需在確定采集目的的基礎上,綜合考慮收集人臉信息是否系實現該目的必要的方式,是否有其他替代方式,以及人臉識別造成的危險是否超過了這個目的本身。“在將人臉識別用于小區的進出是不必要的,刷卡進出在便利性和安全性上也有保障,人臉識別帶來的利益并不明顯,卻可能給小區住戶帶來隱私和個人信息泄露、財產損失等風險。”
準繩
驅動力
page/34
page/33
“此外,《個人信息保護法》本來就規定了撤回權,基于個人同意處理個人信息的,個人有權撤回同意。個人信息處理者應當提供便捷的撤回同意的方式。對業主來說,根本不需要具備個人信息存在被泄露、篡改、丟失等危險的前提,便可以向物業提出撤回、刪除的要求。”勞東燕說。
人臉信息采集有風險,物業公司需合法合規存儲
人臉信息具有唯一性、不可變性和易獲得性,這既為人臉識別技術帶來了價值,又帶來了風險。魏冬冬表示,人臉識別濫用的風險主要在于加大了人臉信息泄露的風險,泄露后可能危害個人的人身安全、隱私權和財產安全,如泄露的人臉信息,可能被用于追蹤個人行蹤、盜竊資金賬戶、私闖住宅以及未經授權進入機要場所等。
為保障居民的合法權益,部分地區已立法規制物業的個人信息采集行為。2022年3月起施行的新修《杭州市物業管理條例》規定,物業服務人不得強制業主、非業主使用人通過提供人臉、指紋等生物信息方式進入物業管理區域或者使用共有部分,不得泄露在物業服務中獲取的業主、非業主使用人個人信息。
而在人臉識別設施的安裝過程中,勞東燕特別強調了“告知—同意”原則的基本要求——個人信息收集方必須就收集目的、范圍相關與風險做明確而充分的告知,并事先征得被收集人的單獨同意。
“根據《個人信息保護法》相關規定,人臉信息屬于敏感個人信息,在使用人臉識別設施之前,物業需要單獨征求每個居民的同意。”勞東燕表示,“另外,部分已經安裝人臉識別裝置的小區,看似很多居民都同意了,但此種情形下同意的獲得,可能是因為在征求同意時,物業并沒有把人臉信息采集可能存在的風險真實全面地告訴居民。嚴格說來,這樣的同意在法律上是無效的。”
人臉信息收集之后,數據的存儲、保管成為一個重要問題。
上海匯業律師事務所律師、注冊信息安全專業人員(CISP)史宇航對記者表示,目前,小區人臉識別系統的人臉數據庫一般是由物業在管理,技術提供商可能會參與系統的搭建,但是否參與管理要看具體系統架構,政府部門主要負責監督。
魏冬冬介紹,相關法律法規和國家標準對人臉信息收集和存儲的合規性要求較多,物業公司存儲人臉信息需履行一系列義務。存儲人臉信息時,物業公司不應存儲原始的人臉照片,應僅存儲人臉的消息摘要,對人臉信息存儲和傳輸采取加密措施,對人臉信息設置適當的訪問權限和操作權限;還應進行個人信息保護影響評估(PIA),形成書面的評估報告并保存三年以上,以及對員工進行個人信息保護的培訓等。
準繩
驅動力
page/36
page/35
“在技術上,物業公司應當將人臉信息與個人身份信息(如個人身份證號碼)分開存儲,這可以大幅降低人臉信息泄露造成的危害。人臉信息產生危害的前提是‘知道這個人臉信息是誰的’,如果不知道人臉信息的主人是誰,自然無法用于跟蹤和詐騙。”魏冬冬表示。
在2022年的全國兩會上,全國人大代表、廣西宏智科技有限公司董事長易捷表示,人臉識別目前在技術、應用管理和政府監管層面仍然存在空白。“一方面是數據存儲隨意,一些分散的、未經安全認證的存儲單位安全技術力量薄弱,數據安全得不到保證;另一方面是海量的無監管人臉數據存在被買賣交易的風險。”
易捷提出,應按照相關規范要求,建立由政府部門監管的全國統一的第三方人臉信息數據庫,出臺專項管理制度或法規,嚴格要求所有進行人臉識別的單位只能將采集數據存儲于第三方人臉信息數據庫。
彩蛋時間
近期在給爸爸挑選生日禮物的時候刷到了一個測評博主,感覺測評維度,評價標準都很專業和有趣,分享給大家。
《一個測評博主的數據分析思維》:(點擊圖片打開鏈接)
驅動力
主辦單位:易寶支付數據部
編輯:趙凱