k8s学习之路.基础.[03.容器持久化存储]

容器的本质是进程,对于进程,Linux系统有进程组的概念来将其组织在一起。在k8s里面,使用Pod这个逻辑概念来维护容器间的关系。 有了Pod后,我们的应用程序需要被创建和管理,这就引出了ReplicaSet和Deployment;然后需要将部署好的应用暴露给外部进行访问,Serv……

阅读全文

一站式机器学习云开发平台

本篇是关于自身在机器学习这块工作经验的思考总结 我希望构建一个机器学习云开发平台,目标在于解决以下问题: 团队协作:项目管理,技术&业务的共享如何体现在实际解决问题的过程中; 资源调度:数据处理、模型训练; 模块共享:低代码甚至无代码; 快速开发:快速试错、实践、测试、部署; 需求-……

阅读全文

梯度下降推导

以感知器为例,可以梯度下降来学习合适的权重和偏置: 假设有n个样本,第i次的实际输出为y,对于样本的预测输出可以表示为: \[ \bar{y}^i = w_1x_1^i+w_2x_2^i+...+w_nx_n^i+b \] 任意一个样本的实际输出和预测输出单个样本的误差,可以使用MES表示: \[ e^i=\frac{1}{2}(y^i-\bar{y}^i)^{2} \] 那么所有误差的和可以表示为: \[ \begin{aligned} E &= e^1+e^2+...+e^n \\ &= \sum_{i=1}^ne^i \\ &= \frac{1}{2}\sum_{i=1}^n(y^i-w^Tx^i)^2 \end{aligned} \] 想象一下,当你从山顶往下……

阅读全文

k8s学习之路.基础.[02.概念介绍]

俗话说,磨刀不误砍柴工。上一章,我们成功搭建了k8s集群,接下来我们主要花时间了解一下k8s的相关概念,为后续掌握更高级的知识提前做好准备。 本文主要讲解以下四个概念: Pod Deployment Service Namespace 引入 让我们使用Deployment运行一个无状态应用来开启此章节吧,比如运行一个nginx Deployme……

阅读全文

k8s学习之路.基础.[01.走进Kubernetes]

什么是Kubernetes 随着微服务架构被越来越多的公司使用,大部分单体应用正逐步被拆解成小的、独立运行的微服务。微服务的优势这里不做探讨,但是其带来的服务维护问题大大增加,若想要在管理大量微服务的情况下还需要让资源利用率更多且硬件成本相对更低,那么基于容器部署的微服务的一些自动……

阅读全文

nndl_note: 深度神经⽹络为何很难训练

消失的梯度问题 导致梯度消失的原因 在更加复杂⽹络中的不稳定梯度 其它深度学习的障碍 上一章提到了神经网络的一种普遍性,比如说不管目标函数是怎样的,神经网络总是能够对任何可能的输入得到一个近似的输出。 普遍性告诉我们神经⽹络能计算任何函数;而实际经验依据提⽰深度⽹络最能适⽤于学习能够解决许……

阅读全文

程序员如何提升个人的技术影响力

公司组织了个内训师培训班,进入前需要面试审核,以下是我的面试分享课题,这里分享出来以作记录。 大家晚上好,我是howie6879,目前主要负责的工作是风控和画像这两块;我个人的话比较常用的语言是Python,个人技术领域主要面向后端、大数据、智能应用等领域方向。 但是今天我不准备分享……

阅读全文

程序员如何在工作中保持进步

工作,对于大部分人都是不可避免的一件事,有的人是为了生存,有的人是为了自我价值的实现,也有人是为了将来不工作而现在努力工作,出发点可能各种各样,但是工作总是大部分人不可避免的一部分。

……

阅读全文

nndl_note: 神经⽹络可以计算任何函数的可视化证明

两个预先声明 一个输入和一个输出的普遍性 多个输入变量 S型神经元的延伸 修补阶跃函数 结论 本章其实和前面章节的关联性不大,所以大可将本章作为小短文来阅读,当然基本的深度学习基础还是要有的。 主要介绍了神经⽹络拥有的⼀种普遍性,比如说不管目标函数是怎样的,神经网络总是能够对任何可能的输入$x……

阅读全文

nndl_note: 改进神经⽹络的学习⽅法

交叉熵代价函数 引⼊交叉熵代价函数 交叉熵的含义?源⾃哪⾥? 过度拟合和规范化 规范化 为何规范化可以帮助减轻过度拟合 规范化的其他技术 权重初始化 如何选择神经⽹络的超参数 参考 万丈高楼平地起,反向传播是深度学习这栋大厦的基石,所以在这块花多少时间都是值得的 前面一章,我们深入理解了反向传播算法如……

阅读全文