云厂商技术支持部门的原话:元数据库删了,我们也恢复不了
「无恃其不来,恃吾有以待也。」——《孙子兵法·九变》
最近在研究CV的一些开源库(OpenCV),有一个体会就是在此领域,除了一些非常学术的_机器学习_, 深度学习_等概念外,其实还有一些很有趣的_现实的_应用场景。比如之前很流行的微软的 https://how-old.net, 你使用自己指定或者上传的照片进行面部识别_猜年龄。 如下图所示:

细想一下这个很吸引眼球的程序,其实技术本身打散了就包括两大块,一是从图片中扫描并进行面部识别,二是对找到的人脸根据算法去猜个年龄。大家可以猜猜实现第一个功能需要多少核心代码量?其实不用上万行,在这里我就使用短短几行代码(去除空格换行什么的,有效代码只要10行)就实现一个_高大上_面部识别的功能。在此文容我细述一下具体实现代码以及我对机器识别图像领域技术的理解。
_人脸识别_技术大家应该都不陌生,之前大家使用的数码相机,或者现在很多手机自带的相机都有人脸识别的功能。其效果就像是下图这样。近的看,_剁手节_刚刚过了没有多久 , 背后的马老板一直在力推的刷脸支付也是一个此领域的所谓“黑科技”。比如在德国汉诺威电子展上,马云用支付宝“刷脸”买了一套纪念邮票。人脸识别应用市场也从爆发。随后,各大互联网巨头也纷纷推出了刷脸相关的应用。

如果要加个定义,人脸识别又叫做人像识别、面部识别,是一种通过用摄像机或摄像头采集含有人脸的图像或视频流,并自动在图像中检测和跟踪人脸,进而对检测到的人脸进行脸部的一系列相关技术。
OK,长话短说,先上 干货 ,下面就是此程序的_带注释_ 版本,完整的程序以及相关配套文件可以在 这个github库 https://github.com/CloudsDocker/pyFacialRecognition 中找到,有兴趣可以_fork_ 下来玩玩。下面是整个程序的代码样子,后面我会逐行去解释分析。

就这短短的十行代码代码?seriously?“有图有真相”,我们先来看下运行的效果:

请注意 K歌二人组 的脸上的红色框框,这就是上面十行代码的成果。

因为此程序使用是的Python,因此你需要去安装Python。这里就不赘述了。除此之外,还需要安装 OpenCV (http://opencv.org/downloads.html)。 多说一句,这个 OpenCV正如其名,是一个开源的机器识别的深度学习框架。这是Intel(英特尔)实验室里的一个俄罗斯团队创造的,目前在开源社区非常的活跃。
特别提一下,对于Mac的用户,推荐使用brew去安装 (下面第一条语句可能会执行报错,我当时也是搞了好久。如果遇到第一条命令不过可以通过文尾的方式联系作者)
brew tap homebrew/science
brew install opencv
安装完成之后,在python的命令行中输入如下代码验证,如果没有报错就说明安装好了。
>>> import cv2
# -*- coding: utf-8 -*-
import cv2,sys
inputImageFile=sys.argv[1]
faceClassifier=cv2.CascadeClassifier('haarcascade_frontalface_default.xml')
这里有几个在深度学习及机器图像识别领域中的几个概念,稍微分析一下,至于深入的知识,大家可以自行搜索或者联系作者。
在机器深度学习领域,针对识别不同物体都有不同的classifier,比如有的classifier来识别洗车,还有识别飞机的classifier,有classifier来识别照片中的笑容,眼睛等等。而我们这个例子是需要去做人脸识别,因此需要一个面部识别的classifier。
一般来说,比如想要机器学习着去识别“人脸”,就会使用大量的样本图片来事先培训,这些图片分为两大类,positive和negative的,也就是分为包“含有人脸”的图片和“不包含人脸”的图片,这样当使用程序去一张一张的分析这些图片,然后分析判断并对这些图片“分类” (classify),即合格的图片与不合格的图片,这也就其为什么叫做 classifier , 这样学习过程中积累的”知识”,比如一些判断时的到底临界值多少才能判断是positive还是negative什么的,都会存储在一个个XML文件中,这样使用这些前人经验(这里我们使用了 哈尔 分类器)来对新的图片进行‘专家判断’分析,是否是人脸或者不是人脸。
这里的 Cascade是 层级分类器 的意思。为什么要 分层 呢?刚才提到在进行机器分析照片时,其实是对整个图片从上到下,从左到右,一个像素一个像素的分析,这些分析又会涉及很多的 特征分析 ,比如对于人脸分析就包含识别眼睛,嘴巴等等,一般为了提高分析的准确度都需要有成千上万个特征,这样对于每个像素要进行成千上万的分析,对于整个图片都是百万甚至千万像素,这样总体的计算量会是个天文数字。但是,科学家很聪明,就想到分级的理念,即把这些特征分层,这样分层次去验证图片,如果前面层次的特征没有通过,对于这个图片就不用判断后面的特征了。这有点像是系统架构中的 FF (Fail Fast),这样就提高了处理的速度与效率。
objImage=cv2.imread(inputImageFile)
cvtImage=cv2.cvtColor(objImage,cv2.COLOR_BGR2GRAY)
foundFaces=faceClassifier.detectMultiScale(cvtImage,scaleFactor=1.3,minNeighbors=9,minSize=(50,50),flags = cv2.cv.CV_HAAR_SCALE_IMAGE)
print(" 在图片中找到了 {} 个人脸".format(len(foundFaces)))
for (x,y,w,h) in foundFaces:
cv2.rectangle(objImage,(x,y),(x+w,y+h),(0,0,255),2)
cv2.imshow(u'面部识别的结果已经高度框出来了。按任意键退出'.encode('gb2312'), objImage)
cv2.waitKey(0)
好了,上面是这个程序的详细解释以及相关的知识的讲解。其实这个只是个_抛砖引玉_的作用,还用非常多的应用场景,比如程序解析网页上的图片验证码,雅虎前几个月开源的 NSFW, Not Suitable for Work (NSFW),即判断那些不适合工作场所的图片,内容你懂的。 :-)
最后,再提一下,所有这些源代码及相关文件都开源在 https://github.com/CloudsDocker/pyFacialRecognition ,在fork并下载到本地后执行下面代码来测试运行
git clone https://github.com/CloudsDocker/pyFacialRecognition.git
cd pyFacialRecognition
./run.sh
如果有任何建议或者想法,请联系我。
「无恃其不来,恃吾有以待也。」——《孙子兵法·九变》
“简单是可靠性的先决条件。” — Edsger W. Dijkstra
“调试代码的难度是写代码的两倍。因此,如果你在写代码时发挥了全部聪明才智,你又怎么可能聪明到去调试它?” — Brian Kernighan
DeleteEnvironment 比 UpdateEnvironment 更诚实
“程序必须写得让人读懂,偶尔才需要让机器执行。” — Donald Knuth
“Talk is cheap. Show me the code.” — Linus Torvalds
别再给 Windows 配端口转发了:把 WSL2 变成独立的 Tailnet 节点
“类比是思考的燃料与火花。” —— 侯世达(Douglas Hofstadter)
“空谈无用,给我看代码。” — Linus Torvalds
“君子不器。” — 孔子
“The first principle is that you must not fool yourself — and you are the easiest person to fool.” — Richard Feynman,《Cargo Cult Science》,1974 年加州理工毕业演讲
“知人者智,自知者明。” — 老子《道德经》
“Git 已跟踪的文件不受影响。”—— Git 官方文档 gitignore(5)
“Git 是一个愚蠢的内容跟踪器。” — Linus Torvalds
“Transform screen-time to family-time.” — Unknown
“试着成为别人乌云里的一道彩虹。” — 玛雅·安吉罗 (Maya Angelou)
“纸上得来终觉浅,绝知此事要躬行。” — 陆游《冬夜读书示子聿》
“Imagination is the key ingredient to a happy life.” — Unknown
“我们知道我们是什么,但不知道我们可能成为什么。” — 威廉·莎士比亚
“Whatever is worth doing is worth doing well.” —— 某位不愿透露姓名的硅谷架构师(作者早期文章)
“The best way to predict the future is to create it.” — Alan Kay
“Be the Sun of your solar system.” — Unknown
“彼节者有间,而刀刃者无厚;以无厚入有间,恢恢乎其于游刃必有余地矣。” — 庄子
“Unix 从未被设计成阻止用户做蠢事,因为那也会阻止他们做聪明事。” — Doug McIlroy
图难于其易,为大于其细。——《老子》
“错误永远不应该悄无声息地过去,除非它被明确地消音。” —— Tim Peters,《Python 之禅》
“计算机科学领域的任何问题都可以通过增加一个间接的中间层来解决。” — David Wheeler
名不正,则言不顺;言不顺,则事不成。——《论语·子路》
鸟儿在天空飞过时,是不会在乎地面上的栅栏的
“知而不行,只是未知。” —— 王阳明
| Cognitive Scaffolding: The Unseen Clockwork of AI Memory and Skills | 认知脚手架:揭秘大模型“记忆”与“技能”的幕后黑盒 |
“Simple can be harder than complex: you have to work hard to get your thinking clean to make it simple.” — Steve Jobs
“此心光明,亦复何言。” —— 王阳明,临终遗言
“The chain is only as strong as its weakest link.” - Thomas Reid
Life is what happens while you’re busy making other plans. - John Lennon
Your time is limited, don’t waste it living someone else’s life. - Steve Jobs
You are never too old to set another goal or to dream a new dream. - C.S. Lewis 学习的最好方法是教授,理解的最好方法是解释。 如果你不能简单地解释它,说明你理解得还不够深刻
A person who never made a mistake never tried anything new. - Albert Einstein 苏格拉底的名言:”未经审视的生活不值得过” 数学家高斯所说:”数学是科学的女王,而数论是数学的女王。” 亚里士多德所说:”整体大于部分之和 物理学家费曼...
Change your thoughts and you change your world. - Norman Vincent Peale “预测未来的最好方法就是实现它。” - 改编自 Alan Kay “算法必须被看见才能被相信。”
It is never too late to be what you might have been. - George Eliot
The best way to predict the future is to create it. - Peter Drucker
“最深刻的洞察,往往来自最痛苦的打脸时刻。” - 某位被算法折磨过的工程师
To live is the rarest thing in the world. Most people exist, that is all. - Oscar Wilde
Strive not to be a success, but rather to be of value. - Albert Einstein
Great minds discuss ideas; average minds discuss events; small minds discuss people. - Eleanor Roosevelt
Everything has beauty, but not everyone sees it. - Confucius 技术面试的”照妖镜”:一道删除括号题,瞬间暴露普通程序员与资深开发者的思维差距
真正的大师不是拥有最多学生的人,而是创造出最多大师的人。 - 老子 真正的智慧不在于知道答案,而在于理解问题的本质。” —— 苏格拉底 “Simple can be harder than complex: you have to work hard to get your thinking clean t...
The future belongs to those who believe in the beauty of their dreams. - Eleanor Roosevelt
从Meta Principal的视角拆解LIS算法:不是背公式,而是修炼从第一性原理到工程直觉的思维武功。一个扑克牌游戏如何启发O(n log n)优化?普通工程师vs资深工程师的思维差距到底在哪里?
Happiness is not something ready made. It comes from your own actions. - Dalai Lama
本文系统讲解 5 个被忽视但极其高效的 Bash/Shell 命令行技巧:进程替换 <()>、tee、xargs -P 并行、/dev/tcp、参数扩展,含实战用法、兼容性与性能边界。
Everything you want is on the other side of fear. - Jack Canfield
Don’t count the days, make the days count. - Muhammad Ali
The question isn’t who is going to let me; it’s who is going to stop me. - Ayn Rand
所谓的良知,是被动一方的说辞。掌握主动权的一方,通常是不以良知而行动的。 ——摘自当年威尼斯外交官的报告”
The question isn’t who is going to let me; it’s who is going to stop me. - Ayn Rand
The only true wisdom is in knowing you know nothing. - Socrates
When one door of happiness closes, another opens. - Helen Keller 当一扇幸福之门关闭时,另一扇就会打开。但我们往往长时间地凝视着那扇关闭的门,而忽略了为我们打开的那扇门。 - 海伦·凯勒
Life shrinks or expands in proportion to one’s courage. - Anais Nin 收拾东西最好的方式,就是扔。东西是,人也是。
Your time is limited, don’t waste it living someone else’s life. - Steve Jobs
subject参数引发的血案
You must be the change you wish to see in the world. - Mahatma Gandhi
Those who cannot change their minds cannot change anything. - George Bernard Shaw 爱情,和袜子中的一只,总有一天会消失.
The best revenge is massive success. - Frank Sinatra
Nothing is impossible, the word itself says ‘I’m possible’! - Audrey Hepburn 我不斷往上爬,不是為了被世界看見,而是想看見整個世界啊
The power of imagination makes us infinite. - John Muir
Leadership is not about being the best. Leadership is about making everyone else better. - Unknown
Change your thoughts and you change your world. - Norman Vincent Peale
人生的意义不在于最终获得什么,而在于曾经努力所求过什么.
The difference between ordinary and extraordinary is that little extra. - Jimmy Johnson “生活不是等待暴风雨过去,而是学会在雨中翩翩起舞。” —— 维多利亚·施特劳斯
host.docker.internal,99%的开发者只知其一,不知其二的深层真相
The only way to do great work is to love what you do. - Steve Jobs
Everything you’ve ever wanted is on the other side of fear. - George Addair
Great minds discuss ideas; average minds discuss events; small minds discuss people. - Eleanor Roosevelt
使唐僧成为唐僧的,不是经书,是那条取经的路。——詹青云
“知之者不如好之者,好之者不如乐之者。” - 孔子
“光焰愈盛,其衰愈速。”——老子 当天堂燃烧:现代火灾的悖论 当2025年人们刚刚从庆祝2024年美国大选胜利的日子里和期待新的一年会更好时,洛杉矶突然发生了一场火灾。
一旦你知道答案,一切都会变得简单。” —— 戴夫·梅吉(Dave Magee)
One must learn by doing the thing; for though you think you know it, you have no certainty, until you try. —Sophocles
大堡礁的一些知识
紹介 私は、私のOppo Androidスマートフォンのアプリ「Googleマップ」で奇妙な問題が発生していることに気づきました。Googleマップで特定の場所(例えば「中央公園」)を検索すると、通常、このアプリは公園の写真やコメントリストを表示するはずです。例えば、誰かが公園の芝生や川の写真を投稿し、便利な場所...
枝上柳棉吹又少, 天涯何处无芳草. –苏轼
Stay focused, believe that you can achieve at the highest level, surround yourself with others who believe in you and do not stray from your goals.
If you’d like to view solution in YouTube, check out at https://youtu.be/ICiwuqJ-yU8
此文是作者英文原文的翻译文章,英文原文在:http://todzhang.com/posts/2018-06-10-jvm-warm-up/
你就会发现只要涉及递归的问题,都是 树的问题。
JDK Versions JDK 1.5 in 2005 JDK 1.6 in 2006 JDK 1.7 in 2011 JDK 1.8 in 2014 Sun之前风光无限,但是在2010年1月27号被Oracle收购。 在被Oracle收购后对外承诺要回到每2年一个realse的节奏。但是20...
用10几行代码自己写个人脸识别程序
引言 有句话说有人的地方就有江湖,同样,有江湖的地方就有恩怨。在软件行业历史长河(虽然相对于其他行业来说,软件行业的历史实在太短了,但是确是充满了智慧的碰撞也是十分的精彩)中有一些恩怨情愁,分分合合的小故事,比如类似的有,从一套代码发展出来后面由于合同到期就分道扬镳,然后各自发展成独门产品的Sybase DB和微...
使用Solidity创建以太坊(Ethereum)智能合约(Smart Contract)
大家都知道,在软件测试特别是在单元测试时,必用的一个功能就是“断言”(Assert),可能有些人觉得不就一个Assert语句,没啥花头,也有很多人用起来也是懵懵懂懂,认为只要是Assert开头的方法,拿过来就用。一个偶然的机会跟人聊到此功能,觉得还是有必要在此整理一下如何使用以及对“断言”的理解。希望可以帮助大家...
深入浅出区块链系统:第一章. what you should know about blockchain
Kubernetes 和Docker Swarm 可能是使用最广泛的工具,用于在集群环境中部署容器。但是这两个工具还是有很大的差别。
在开发设计中有一些常用原则或者潜规则,根据笔者的经验,这里稍微总结一下最最常用的,以飨读者。
可以想像一下,之前的传统应用系统,像是一个大办公室里面,有各个部门,销售部,采购部,财务部。办一件事情效率比较高。但是也有一些弊端,首先,各部门都在一个房间里。
Purpose of BA 带来一些商业价值(收益) 解决业务痛点
concepts