Tetuka的个人笔记

Kubernetes介绍Kubernetes详细教程（一）：入门、架构及基本概念-CSDN博客官方文档• Kubernetes（简称k8s）是一个开源的容器编排平台，用于自动化部署、扩展和管理容器化应用。• 它的核心功能包括自动化容器部署、负载均衡、自我修复、存储编排以及跨集群资源管理。• 通过Kubernetes，企业能够高效管理大规模的容器化应用，确保应用的高可用性和弹性扩展。 简单来说，Kubernetes 是容器时代的 “操作系统”，让分布式应用的管理变得简单、高效、可靠。 核心功能自动调度：将容器放到K8S集群的任意节点中，并根据容器需要和节点负载决定目标节点。自动修复：当健康检查发现节点问题，系统会自动将节点上的资源进行转移，并恢复功能。自动缩扩容：通过预定义负载指标，根据指标自动触发动态缩扩容行为。 基本架构Kubernetes架构可简单分为主节点（Master）、从节点（Node）和数据库ETCD。Master为控制节点，负责整个集群的管理控制Node的作用是承接工作负载 在官方文档中，又将Kubernetes架构分为两大部分：控制平面（Control Plane...

一主二从三哨兵一、架构组成“一主二从三哨兵” 架构由 3 类角色组成，共 6 个容器（或实例）： 1 个主节点（Master）：处理读写请求，是核心数据节点。 2 个从节点（Slave）：通过主从复制同步主节点数据，仅处理读请求（默认），主节点故障时可被哨兵选举为新主节点。 3 个哨兵节点（Sentinel）：监控主从节点状态，判断主节点是否下线，当主节点故障时自动触发故障转移（Failover），将某个从节点升级为新主节点。 二、核心组件作用1. 主节点（Master） 功能：接收所有写请求（如 SET、HSET），并通过主从复制将数据同步到从节点。 特点：默认只有主节点可写，从节点只读（通过配置 slave-read-only yes 控制），确保数据一致性。 Docker 配置关键点： 绑定所有网络接口（bind 0.0.0.0），允许容器外部访问。 配置持久化（RDB/AOF），避免数据丢失。 设置访问密码（requirepass）和主从同步密码（masterauth，与从节点一致）。 2. 从节点（Slave） 功能：通过 replicaof <...

docker compose简介Docker Compose 是 Docker 官方推出的工具，用于定义和运行多容器 Docker 应用。通过单个 YAML 文件（通常命名为 docker-compose.yml），可以配置应用的服务、网络和卷，一键启动或停止整个应用栈，无需逐个操作容器。Docker Compose 是管理多容器应用的必备工具，通过 YAML 配置简化部署流程，尤其适合开发和测试环境。对于生产环境，可结合 Kubernetes 等更强大的编排工具。 yaml文件编辑规范•第一：YAML是一种标记性语言，类似于json数据描述语言，可读性高；　•第二：YAML数据结构通过缩进来表示，连续项目通过减号表示，键值对用冒号分隔，数组使用中括号[]括起来，bash用花括号{}括起来；　•第三：不支持制表符TAB缩进，只能使用空格缩进；•第四：字符后缩进一个空格(如冒号、逗号、横杠后须加空格)；•第五：使用#号表示注释；•第六：如果包含特殊字符用单引号' ' 标记为普通字符,用双引号表示特殊字符本身的意思,布尔值必须使用双引号"...

Linux安装（CentOS7）12345678910111213141516171819202122232425262728293031323334353637383940414243444546474849505152535455565758596061626364#关闭防火墙systemctl stop firewalldsystemctl disable firewalld.service#关闭selinuxvim /etc/selinux/config# 将SELINUX=enforcing改为#1.拷贝一份新的阿里云的 下载源 到 /etc/yum.repos.d/下 mv /root/CentOS-Base.repo /etc/yum.repos.d/#2.清空原下载池sudo yum clean all#3. 加载新源sudo yum makecache#安装工具包yum install -y epel-release#安装基础软件yum install -y net-tools rsync vim wget ntpyum install -y yum-utils...

SQL优化1. 执行计划 性能优化：通过查看执行计划，可以识别出哪些操作耗费了大量资源，从而有针对性地进行优化。 索引使用情况：了解数据库是否使用了适当的索引来加速查询。 表连接顺序：确定数据库选择的表连接顺序是否最优。 扫描方式：判断数据库使用的是全表扫描还是索引扫描等不同类型的扫描方式 mysql中使用explain命令来查看查询的执行计划，输出结果会显示每一步操作的详细信息，如表扫描方式、使用的索引等 Oracle使用explain plan for 语句生成执行计划 type列显示了访问类型，ALL表示全表扫描，ref表示使用索引。 key列显示了使用的索引名称。 rows列显示了预计需要扫描的行数。 Extra列提供了额外的信息，如Using where表示应用了过滤条件 2. sql语句优化优先排查sql代码,尽量使用执行效率高的 sql代码 ,比如: 不使用select * 查询表 写列名的时候,所有表列都要带别名; 不使用 or 进行筛选条件连接 ; 多筛选条件时,合理排列筛选条件执行顺序,将能够缩小结果集的筛选条件,放在最后优先执行; 尽量在gro...

1. 银行主要的经营业务有哪些? 源系统有哪些?主要经营业务：存款业务、贷款业务、中间业务、网银业务、银行卡业务、支付结算业务等。 源系统：CBS（核心业务系统）、NIB（新中间业务系统）、CLM（信贷系统）、EBS（网银系统）、FLM（农贷系统）、IBS（老中间业务系统）、SEP（二代支付系统）、CFE（老卡前置系统）、ATP（新卡前置系统）、NFT（银联系统） 2. 说明哈尔滨银行项目的硬件配置生产硬件配置： 系统 服务器 型号 配置 数量 数据平台 数据库服务器 IBM P720 4C/32GB/2*300GB硬盘/2个双口千兆以太网卡/2*HBA卡 2台 数据平台 应用服务器 HP DL380 4C/128GB/2*600G硬盘/2块双口千兆网卡/2*HBA卡 2台 开发、测试硬件配置： 系统 服务器 型号 配置 数量 数据平台 数据库服务器 虚拟机 2C/8GB/300GB硬盘 2台 数据平台 应用服务器 虚拟机 2C/8GB...

1. hadoop组件有哪些?分别有什么功能 组件 功能 HDFS 分布式文件存储系统，提供高容错性海量存储 MapReduce 分布式计算框架，并行处理大数据集 YARN 资源调度系统，管理集群资源并分配任务 Hive 主要用于处理结构化和半结构化数据 Common 通用工具库，支持其他模块 2. 分布式存储的组件是什么 ?有哪些进程? 进程的作用是什么?分布式存储组件是 HDFS，其包含的进程及作用如下： 进程 作用 NameNode 管理元数据（文件名、块位置、权限），响应客户端请求 DataNode 存储实际数据块，定期向NN发送心跳和块报告 SecondaryNameNode 定期合并FsImage和Edits日志（非热备，缓解NN压力） 3. 资源调度使用什么组件? 该组件有哪些进程?每个进程的作用是什么?资源调度使用的组件是 YARN，相关进程及作用如下： 进程 作用 ResourceManager 负责全局资源的调度和分配 NodeManager 管理单个节点上的资源和容器 Applicat...

DataX项目地址：https://github.com/alibaba/DataX官方文档：https://github.com/alibaba/DataX/blob/master/introduction.md DataX 是阿里巴巴开源的一个异构数据源离线同步工具，致力于实现包括关系型数据库(MySQL、Oracle等)、HDFS、Hive、ODPS、HBase、FTP等各种异构数据源之间稳定高效的数据同步功能。 ​ DataX本身作为数据同步框架，将不同数据源的同步抽象为从源头数据源读取数据的Reader插件，以及向目标端写入数据的Writer插件，理论上DataX框架可以支持任意数据源类型的数据同步工作。同时DataX插件体系作为一套生态系统, 每接入一套新数据源该新加入的数据源即可实现和现有的数据源互通。 XXL-JOB一个分布式任务调度平台，其核心设计目标是开发迅速、学习简单、轻量级、易扩展任务调度中心页面：http://192.168.200.100:8080/xxl-job-admin/启停脚本：vim /opt/module/ap...

相关总结一、参数接收与文件校验1. 用户输入获取从命令行接收日期参数（格式：yyyymmdd） 1234dt = input("请输入参数: ")if not dt: print("请输入参数（格式：yyyymmdd）") exit() 2. 参数格式验证检查输入是否符合 8 位纯数字格式 12345678def test_value(dt, fpath): if len(dt) == 8 and dt.isdigit(): fname = f"{dt[0:4]}-{dt[4:6]}-{dt[6:8]}.log" fnamein = f'{fpath}/{fname}' return fname, fnamein else: print("输入参数格式不对: yyyy...

连接mysql 12345678910111213141516--创建数据库create database testDEFAULT CHARACTER SET utf8DEFAULT COLLATE utf8_general_ci;show databases--创建账号Create user 'test'@'%' identified by 'test';Grant all privileges on test.* to test@'%' identified by 'test' with grant option;--刷新权限配置flush privileges; 安装123456789101112131415161718192021222324252627# 1.拷贝安装包以及mysql的jar到/root目录 并解压tar -zvxf sqoop-1.4.6.bin__hadoop-2.0.4-alpha.tar.gz -C /opt/module/# 2.配置环境变量...