golang实践-第三方包为私有库的配置方案

作者:alex_023 时间:2023-06-25 06:05:32 

正常使用了go 1.8一段时间没有发现异常,为了发布便捷,以及后期引入plug-in,开始将大项目分解。涉及到通过vendor引入私有库保存的第三方包。

参考网上那些反复转帖的材料,始终无法成功,总是都会出现类似以下的错误:

package git.oschina.net/xxx/yyy: unrecognized import path "git.oschina.net/xxx/yyy" (parse https://git.oschina.net/xxx/yyy?go-get=1: no go-import meta tags ())

反复折腾后,终于搞定,这里整理一下,备查。

整个过程三个步骤:生成公钥、git配置、第三方包调用

公钥生成

使用私有库,是必须要通过公钥的,而公钥是由客户端生成,然后上传到oschina上。网上资料比较多,相对容易解决.

1.生成公钥文件


//-f 参数:指定钥匙文件名称;不设置,则默认为id_rsa(已经存在则会有覆盖提示)。
//-C 参数:注释描述,这里随便写了个邮箱地址。
//-t 参数:指定加密格式,默认为dsa
$ssh-keygen -t rsa -C "aaa@bbb.com" -f ~/.ssh/ccc_rsa
//连续回车,忽略密码设置
Generating public/private rsa key pair.
Enter passphrase (empty for no passphrase):
Enter same passphrase again:
Your identification has been saved in /Users/apple/.ssh/ccc_rsa.
Your public key has been saved in /Users/apple/.ssh/ccc_rsa.pub.
The key fingerprint is:
SHA256:FBG/a3Ed4KFYjVITwRiwPKj+HjCKiBxu10D/K2wVPE8 aaa@bbb.com
The key's randomart image is:
+---[RSA 2048]----+
|      ..=B*=o    |
|     o .o=o+.o   |
|   .. = o.o . .  |
|  ...  * E . . . |
| .+. .  S o . .  |
|*o.oo .. . +     |
|=+..o...  o      |
|. .. =  ..       |
|   .+ ..         |
+----[SHA256]-----+

可以查看到增加了ccc_rsa与ccc_rsa.pub两个文件,可以很容易查看:


$ ls ~/.ssh/
ccc_rsa     ccc_rsa.pub

2.添加密钥到ssh-agent

添加SSH key 到 ssh-agent很简单,添加前确保ssh-agent可用即可:


$ ssh-add ~/.ssh/ccc_rsa

3.查看公钥

输入cat ~/.ssh/ccc_rsa.pub,可以查看到公钥信息,后面需要将其拷入到git服务器进行设置。


ssh-rsa AAAAB3NzaC1yc2EAAAADAQABAAABAQCm4HVLb19i2jp10Sv9zs9ifmfAB8r3dhSZ3ZuHmAr7oOBG01TqNsArJf5GpbtNc4aEhqZoHfE1tEgPkqMiSkCW6w+m7rfCjCykZ7U2IjxUvcDOqbHPylpdWzTRFq+jcvqeFyHqMv0B0ORqWvHqBwzDWwyBbCWTDhrTpAfykfAqVSb62JEnaj84MELoOIoSnkuAXcA+EnkG+3HxUqt+3TFq/p9xLfc2NqZG4wZg00fIlS6b+yoRkvVE8fx9V1K4ATbiVmLk+wjk4C7NC3V71UyyCD5knMa0Dd54re1gaZJOl8K7ukc9IgKAQwOcYde0nyN7kVZtNt/G+VhpAibY/7Wv aaa@bbb.com

4.通过config指定钥匙

如果项目涉及到多个私有库,或者指定了rsa文件名,就需要设置ssh config文件。执行vi ~/.ssh/config命令,填写以下内容:


#Host 别名
Host ccc-oschina    
       #HostName  主机名
       HostName git.oschina.net
       #验证方式
       PreferredAuthentications publickey
       #IdentityFile 指定文件的路径
       IdentityFile ~/.ssh/ccc_rsa

git服务的公钥配置

git服务器,是能够面向账户或者项目进行公钥设置。由于oschina平台提供了灵活的组织管理,建议为账户配置公钥。

相对账户设置,大家比较熟悉,这里简单描述一下项目的公钥设置。登录平台->选择项目->进入“管理”->点击左侧的“公钥管理”->点击“添加部署公钥”,将刚刚生成的公钥填写到“公钥”栏,并为它起一个名称,保存即可。

golang实践-第三方包为私有库的配置方案

golang实践-第三方包为私有库的配置方案

配置保存后,可以通过ssh -T测试


$ssh -T git@git.oschina.net
#成功后,会显示欢迎信息。因为配置的项目公钥,所以显示为匿名用户。如果是在成员的配置信息中设置的公钥,则会显示出成员昵称。
Welcome to Git@OSC, Anonymous!

但是,以上是自己生成了密钥,如果是第三方访问使用,则需要做添加公钥的配置。

将gitserver上的公钥,拷贝下来(不要有前后空格),写入ssh默认的authorized_keys文件中,并放入~/.ssh/目录下。如果不采用默认文件名,则需要调整配置,具体可查度娘。

第三方调用

配置成功后,就可以在项目中引入第三方包,按照平时用法会提示错误:


$go get git.oschina.net/xxx/yyy
Fetching https://git.oschina.net/xxx/yyy?go-get=1
Parsing meta tags from https://git.oschina.net/xxx/yyy?go-get=1 (status code 404)
package git.oschina.net/xxx/yyy: unrecognized import path "git.oschina.net/xxx/yyy" (parse https://git.oschina.net/xxx/yyy?go-get=1: no go-import meta tags ())

其原因是因为包路径需要改为.git文件的路径,只需要增加.git就会正常,需要特别注意:


//包路径的后边需要增加.git
$go get git.oschina.net/xxx/yyy.git

这样,就可以在代码中引入第三方的私有库了。当然,我们采用glide、godep等第三方包管理工具也可以,只要注意包路径后边增加.git就好。

补充:athens 搭建golang私有gitlab仓库 (踩了git和https的坑)

环境:

gitlab: gitlab需要配置可信任https。

nginx:两个

git:最新版,!!!重要,不是最新版go get会出现问题

athens

golang

原理:

通过nginx转发,实现外网请求和内网请求路由。配置https://goproxy.io 下载golang等被墙的包。

注意事项:

1、git一定要是最新版

2、gitlab一定要配置https。目前athens使用http代理我试了不行,有会配置的同学欢迎指教。

3、location ~* ^/[^/]+/[^/]+$ 这个表达式固定匹配两级path,类似/aa/bb nginx并不完全支持正则。想要匹配 * 路径等需要另外加location ~* ^/[^/]+/[^/]+/[^/]+$

4、return 200 "<!DOCTYPE html><head><meta content='$host$uri git ssh://git@$host:$uri.git' name='go-import'></head></html>"; 这个配置注意ssh端口根据情况修改,比如ssh端口为8080,则该为:return 200 "<!DOCTYPE html><head><meta content='$host$uri git ssh://git@$host:8080$uri.git' name='go-import'></head></html>";

网络流程图:

golang实践-第三方包为私有库的配置方案

准备:

1.机器3个:(也可以在一个机器上,修改对应端口即可)

private.gitlab.com: 部署私有仓库机器

athens.com: athens仓库入口机器(可以不用,但是这样外网的包就不会缓存在本地)

athens.private.com: 私有gitlab代理。

2.在阿里云上申请可信任的免费CA证书。

private.gitlab.com 部署和相关配置:

1.在该机器上部署gitlab仓库

2.配置nginx https,配置如下:


#user  nobody;
worker_processes  1;
error_log  logs/error.log;
error_log  logs/error.log  notice;
error_log  logs/error.log  info;
#pid        logs/nginx.pid;
events {
   worker_connections  1024;
}
http {
   # gitlab 服务地址和端口
   upstream gitlab {
       server 10.53.1.234:8081;
   }
server {
       listen 10.53.1.234:80;
       server_name private.gitlab.com;
# 这里选择重定向到https去
       rewrite ^(.*)$ https://${server_name}$1 permanent;
   }
   server {
       listen    443;
       server_name  private.gitlab.com;
ssl on;
       ssl_session_cache        shared:SSL:10m;
       ssl_session_timeout      20m;
       ssl_session_tickets       on;
       ssl_certificate /etc/nginx/server/2650770_private.gitlab.com.pem;      # 自己ca签发的
       ssl_certificate_key /etc/nginx/server/2650770_private.gitlab.com.key;  # 自己的私钥
location / {
           proxy_cache off;
           proxy_pass http://gitlab;
           access_log /var/log/nginx_access.log;
       }
       # GOPROXY,vgo download protocol协商软件包的规范
       # 第一步就是获取软件包元数据,格式如下,gitlab暂时不支持,所以需要nginx代理
       location ~* ^/[^/]+/[^/]+$ {
           if ($http_user_agent ~* '^go.*') {
               return 200 "<!DOCTYPE html><head><meta content='$host$uri git ssh://git@$host:$uri.git' name='go-import'></head></html>";
           }
           proxy_cache off;
           proxy_pass http://gitlab;
       }
       # 具体协议原理请看这篇文章:http://www.bubuko.com/infodetail-3045365.html
       location ~* ^/(?<holder>[^/]+)/(?<project>[^/]+)/.*$ {
           set $goRedirect 'https://$host/$holder/$project?$args';
           access_log /var/log/nginx_access1.log;
           if ($http_user_agent ~* '^go.*') {
               return 301 $goRedirect;
           }
           proxy_cache off;
           proxy_pass http://gitlab;
       }
   }
}

athens.com (代理仓库总入口)部署和相关配置:

1、安装golang环境

2、设置go环境,export GO111MODULE=on,export GOPROXY=http://private.athens.com

3、安装athens

private.athens.com (私有仓库代理)部署和相关配置:

1、安装golang环境 和 git客户端并配置免登陆

2、设置go环境,export GO111MODULE=on,export GOPROXY=direct

3、安装athens

4、安装nginx并配置nginx,相关配置如下:


#user  nobody;
worker_processes  1;
events {
   worker_connections  1024;
}
http {
   server {
       listen 80;
# 外部的依赖转发到外面的go proxy
       location / {
           proxy_pass https://goproxy.io;
           #proxy_pass https://athens.azurefd.net;
       }
       # 内部依赖的go proxy,也就是上面启动的athens
       # github的依赖也可以走本地的go proxy,可以做缓存
       location ~ /(private\.gitlab\.com)/ {
           # 私有仓库跳转到私有athens 服务
           proxy_pass http://localhost:3000;
           access_log /var/log/nginx_access.log;
       }
   }
}

以上为个人经验,希望能给大家一个参考

来源:https://blog.csdn.net/qq_26981997/article/details/61923576

标签:golang,第三方,私有库
0
投稿

猜你喜欢

  • Golang切片删除指定元素的三种方法对比

    2024-02-16 00:14:21
  • Python linecache.getline()读取文件中特定一行的脚本

    2023-03-09 13:18:05
  • 使用 Python 实现微信群友统计器的思路详解

    2022-02-04 23:38:08
  • python退出循环的方法

    2022-06-10 07:24:35
  • Python脚本Selenium及页面Web元素定位详解

    2023-06-14 12:21:10
  • js判断复选框是否选中及选中个数的实现代码

    2024-04-22 22:17:03
  • Vue3+TS+Vite+NaiveUI搭建一个项目骨架实现

    2024-05-28 15:55:14
  • MySQL单表查询进阶教程(最全面!)

    2024-01-22 21:06:42
  • Python+OpenCV绘制灰度直方图详解

    2023-06-09 18:50:50
  • MySQL Order By索引优化方法

    2024-01-18 10:34:38
  • Python实现求最大公约数及判断素数的方法

    2021-06-13 02:20:20
  • Python tkinter布局与按钮间距设置方式

    2023-09-28 23:43:27
  • Python读取视频的两种方法(imageio和cv2)

    2023-10-04 13:45:06
  • Python+OpenCV实现单个圆形孔和针检测

    2023-05-04 10:38:11
  • python基于urllib实现按照百度音乐分类下载mp3的方法

    2022-03-07 21:07:38
  • 网站重构 CSS样式表的优化技巧

    2009-05-12 11:51:00
  • .NET5控制台程序使用EF连接MYSQL数据库的方法

    2024-01-25 08:07:43
  • python中元类用法实例

    2023-10-24 19:12:29
  • 基于Python制作公交车站查询系统

    2022-10-03 04:34:03
  • pycharm中连接mysql数据库的步骤详解

    2024-01-19 22:22:40
  • asp之家 网络编程 m.aspxhome.com